[논문 리뷰] What makes ImageNet good for transfer learning?

Minyoung Huh, Pulkit Agrawal외 1명|arXiv (Cornell University)|2016. 08. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 53인용 수 308

한 줄 요약

이 논문은 ImageNet 데이터의 어떤 측면(규모, 클래스 수, 세분화, 데이터 분할)이 전이 학습 성능에 실제로 영향을 미치는지 경험적으로 분석하고, 데이터 양과 클래스 풍부성에 대해 일반적으로 널리 여겨지던 많은 믿음이 이전보다 덜 중요한 것으로 밝혀졌다.

ABSTRACT

The tremendous success of ImageNet-trained deep features on a wide range of transfer tasks begs the question: what are the properties of the ImageNet dataset that are critical for learning good, general-purpose features? This work provides an empirical investigation of various facets of this question: Is more pre-training data always better? How does feature quality depend on the number of training examples per class? Does adding more object classes improve performance? For the same data budget, how should the data be split into classes? Is fine-grained recognition necessary for learning good features? Given the same number of training classes, is it better to have coarse classes or fine-grained classes? Which is better: more classes or more examples per class? To answer these and related questions, we pre-trained CNN features on various subsets of the ImageNet dataset and evaluated transfer performance on PASCAL detection, PASCAL action classification, and SUN scene classification tasks. Our overall findings suggest that most changes in the choice of pre-training data long thought to be critical do not significantly affect transfer performance.? Given the same number of training classes, is it better to have coarse classes or fine-grained classes? Which is better: more classes or more examples per class?

연구 동기 및 목표

• ImageNet 사전 학습 데이터의 어떤 측면이 전이 학습 성능에 가장 영향을 미치는지 조사한다.
• 클래스당 이미지 수가 전이 작업에 미치는 영향을 정량적으로 평가한다.
• 사전 학습 클래스 수가 전이 작업에 미치는 영향을 정량적으로 평가한다.
• 전이 학습을 위한 미세한(class) 대 거친 레이블의 중요성을 평가한다.
• 전이 성능을 위한 더 많은 클래스 대 클래스당 더 많은 이미지 간의 데이터 예산 trade-off를 탐색한다.

제안 방법

• 제어된 ImageNet 하위집합에서 클래스당 이미지 수 및 클래스 수를 다르게 하여 AlexNet 스타일의 CNN을 사전 학습한다.
• 사전 학습된 네트워크를 세 가지 전이 작업에 대해 미세 조정한다: PASCAL VOC 2007 객체 탐지 (PASCAL-DET), PASCAL VOC 2012 동작 인식 (PASCAL-ACT-CLS), 및 SUN-CLS 장면 분류.
• WordNet 기반 클래스 계층 구조를 체계적으로 변화시켜 사전 학습용 거칠고 세밀한 라벨 집합을 생성한다.
• 미세 조정 후 전이 성능을 측정한다(탐지/동작은 mAP, SUN은 정확도).
• 거친 학습으로 얻은 특징이 미세한 구분력을 보유하는지 평가하기 위해 induction 정확도를 계산한다.

실험 결과

연구 질문

• RQ1 사전 학습 데이터의 양(클래스당 이미지 수)이 전이 학습 성능에 어떤 영향을 미치는가?
• RQ2 사전 학습 클래스 수가 전이 성능에 어떤 영향을 미치는가?
• RQ3 미세한 인식이 전이 가능한 특징 학습에 필요한가, 아니면 거친 학습으로 충분한가?
• RQ4 거친 클래스로 학습된 특징이 보지 못한 데이터에서도 미세한 구분을 지원할 수 있는가?
• RQ5 고정된 데이터 예산하에서 더 많은 클래스가 더 많은 예제로 보는 것이 전이 학습에 더 나은가, 아니면 더 적은 클래스가 더 나은가?

주요 결과

• 사전 학습 데이터를 500 이미지 per class로 축소해도(이전의 1000에서) 전이 감소가 작고( PASCAL-DET에서 1.5 mAP) ImageNet 자체에서의 감소에 비해 작다.
• 약 127개의 거친 클래스와 함께 학습하면 모든 1000개의 ImageNet 클래스를 사용하는 것과 비슷한 전이 성능을 얻을 수 있으며, 일부 작업에서는 성능이 오히려 개선되기도 한다.
• 미세한(class) 전학습이 좋은 전이 성능을 위해 반드시 필요한 것은 아니며, 거친 전학습으로도 강한 전이 특징을 얻을 수 있다.
• 거친 클래스 학습은 보지 못한 미세한 구분 클래스까지도 구별할 수 있는 특징을 유도할 수 있으며(유도 정확도는 전체 학습의 약 15% 이내),
• 더 많은 클래스가 항상 전이 성능을 향상시키는 것은 아닐 수 있다; 때로는 더 작고 거친 클래스를 사용하는 것이 비교적 유사하거나 더 나은 전이 결과를 낳고, 과제와 무관한 데이터 증가가 성능을 해칠 수 있다.