[논문 리뷰] Does progress on ImageNet transfer to real-world datasets?

Alex Chengyu Fang, Simon Kornblith외 1명|arXiv (Cornell University)|2023. 01. 11.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 ImageNet 성능 향상이 웹 스크래핑되지 않은 실세계 이미지 분류 데이터셋으로 일반화되는지 조사한다. 19개의 사전 훈련된 모델을 여섯 개인 웹 스크래핑되지 않은 데이터셋에서 평가한다. ImageNet 정확도가 높을수록 일관되게 후행 작업 성능이 향상되지 않음을 발견하였으며, 여섯 데이터셋 중 네 개인에서 VGG 이후의 아키텍처 개선이 거의 또는 전혀 성능 향상을 가져오지 못함을 확인하였다. 반면, 작업에 특화된 데이터 증강 기법은 종종 최신 아키텍처를 능가하는 성능을 보였다.

ABSTRACT

Does progress on ImageNet transfer to real-world datasets? We investigate this question by evaluating ImageNet pre-trained models with varying accuracy (57% - 83%) on six practical image classification datasets. In particular, we study datasets collected with the goal of solving real-world tasks (e.g., classifying images from camera traps or satellites), as opposed to web-scraped benchmarks collected for comparing models. On multiple datasets, models with higher ImageNet accuracy do not consistently yield performance improvements. For certain tasks, interventions such as data augmentation improve performance even when architectures do not. We hope that future benchmarks will include more diverse datasets to encourage a more comprehensive approach to improving learning algorithms.

연구 동기 및 목표

• 최신 ImageNet 모델 성능 향상이 실세계 이미지 분류 작업으로 일반화되는지 평가하기.
• 웹 스크래핑되지 않은 데이터셋에서 후행 작업 성능 예측 능력 측면에서 ImageNet 정확도가 웹 스크래핑 기반 벤치마크보다 얼마나 효과적인지 비교하기.
• 데이터 증강 또는 추가 훈련 데이터와 같은 방법론적 개선이 아키텍처 발전보다 더 큰 성능 향상을 가져오는지 평가하기.
• 다른 웹 스크래핑되지 않은 데이터셋에서의 성능가지 ImageNet 정확도만으로도 전이 가능성 예측이 더 나은지 조사하기.

제안 방법

• ImageNet top-1 정확도가 56.5%에서 83.4% 사이인 19개의 ImageNet 사전 훈련 모델을 여섯 개의 실세계 이미지 분류 데이터셋에서 평가.
• 선형 회귀를 사용하여 ImageNet 정확도를 함수로 하는 후행 작업 정확도를 모델링하고, 전이 강도를 정량화하기 위해 기울기를 계산.
• F-검정을 적용하여 다른 다섯 개의 웹 스크래핑되지 않은 데이터셋에서의 평균 정확도가 ImageNet 정확도 외에 추가 분산을 설명하는지 평가.
• 로그릿 변환과 표준화 후 순위 상관관계를 사용하여 데이터셋 간 모델 성능을 비교.
• 사전 훈련 시 사용된 증강 전략(예: RandAugment, AutoAugment, CutMix)과 전이 성능에 미치는 영향 분석.
• 전이 플롯에서 모델 점을 사전 훈련 증강 유형별로 색상으로 구분하여 성능 추세 패턴 식별.

실험 결과

연구 질문

• RQ1 웹 스크래핑되지 않은 실세계 이미지 분류 데이터셋에서 ImageNet 정확도가 높을수록 성능이 일관되게 향상되는가?
• RQ2 VGG 이후의 아키텍처 개선이 실세계 데이터셋으로 전이되는 정도는 웹 스크래핑 기반 벤치마크와 비교해 어떻게 되는가?
• RQ3 작업에 특화된 개선 조치(예: 데이터 증강, 추가 훈련 데이터)가 실세계 작업에서 최신 ImageNet 아키텍처를 얼마나 능가하는가?
• RQ4 다른 웹 스크래핑되지 않은 데이터셋에서의 성능가지 ImageNet 정확도만으로도 후행 작업 성능 예측이 더 나은가?
• RQ5 간단한 증강 기법으로 사전 훈련된 모델과 자동 데이터 증강 전략을 사용한 모델 간 전이 가능성에 체계적인 차이가 있는가?

주요 결과

• 여섯 개의 실세계 데이터셋 중 네 개인에서 ImageNet 정확도와 후행 작업 정확도 사이의 선형 관계 기울기가 0.05 이하였으며, 이는 VGG 이후 아키텍처 개선이 거의 전이되지 않음을 의미한다.
• Caltech Camera Traps-20(CCT-20) 데이터셋은 기울기가 0.11이었고, Human Protein Atlas(HPA) 데이터셋은 0.29였으며, 이는 이 작업들에 대해 중간 정도의 전이가 이루어졌음을 시사한다.
• APTOS 및 Melanoma 데이터셋에서는 ImageNet 정확도가 다른 데이터셋의 평균 정확도보다 유의미하게 더 많은 분산을 설명하였으며, 이는 이 작업들에 대해 ImageNet 정확도가 더 나은 예측자임을 의미한다.
• 여섯 데이터셋 중 다섯 개에서 ImageNet 정확도와 다른 다섯 개 데이터셋의 평균 정확도 조합이 ImageNet 정확도만으로는 설명할 수 없는 유의미한 추가 분산을 설명하였으며, 이는 다중 데이터셋 성능이 더 강력한 예측자임을 시사한다.
• Spearman 순위 상관관계 분석 결과, 다른 다섯 개의 웹 스크래핑되지 않은 데이터셋의 평균 성능이 ImageNet 정확도보다 네 개의 데이터셋에서 더 예측 능력이 뛰어나며, 특히 Melanoma 및 Cassava 데이터셋에서 두드러졌다.
• 자동 증강 기법(예: RandAugment, AutoAugment)으로 사전 훈련된 모델은 단순 증강 기법을 사용한 모델보다 더 강한 전이 성능 추세를 보였으며, 이는 실세계 전이에 있어 사전 훈련 전략의 중요성을 시사한다.