[논문 리뷰] Large Scale Learning of General Visual Representations for Transfer.

Alexander Kolesnikov, Lucas Beyer외 5명|arXiv (Cornell University)|2019. 12. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 75

한 줄 요약

이 논문은 대규모 지도 학습을 통한 사전 훈련과 미세조정을 거치는 간단하면서도 효과적인 레시피인 Big Transfer (BiT)를 소개한다. 사전 훈련을 확장하고 히우리스틱 전이 전략을 사용함으로써 BiT는 20개 이상의 데이터셋에서 최신 기술 성능을 달성하였으며, 100만 개의 예시를 사용할 경우 ImageNet에서 87.5%의 top-1 정확도를 기록하고, 클래스당 예시를 10개로 제한할 경우에도 76.8%의 정확도를 달성하였다.

ABSTRACT

Transfer of pre-trained representations improves sample efficiency and simplifies hyperparameter tuning when training deep neural networks for vision. We revisit the paradigm of pre-training on large supervised datasets and fine-tuning the model on a target task. We scale up pre-training, and propose a simple recipe that we call Big Transfer (BiT). By combining a few carefully selected components, and transferring using a simple heuristic, we achieve strong performance on over 20 datasets. BiT performs well across a surprisingly wide range of data regimes -- from 1 example per class to 1M total examples. BiT achieves 87.5% top-1 accuracy on ILSVRC-2012, 99.4% on CIFAR-10, and 76.3% on the 19 task Visual Task Adaptation Benchmark (VTAB). On small datasets, BiT attains 76.8% on ILSVRC-2012 with 10 examples per class, and 97.0% on CIFAR-10 with 10 examples per class. We conduct detailed analysis of the main components that lead to high transfer performance.

연구 동기 및 목표

• 대규모 사전 훈련된 표현을 활용하여 샘플 효율성을 향상하고 하이퍼파rameter 튜닝을 줄이기 위해 시각 딥 러닝의 성능을 향상시키는 것.
• 감독 데이터셋에서 사전 훈련을 확장할 경우 다양한 데이터 제약 조건에서의 전이 성능 향상 여부를 조사하는 것.
• 다양한 양의 레이블 데이터를 가진 데이터셋에 잘 일반화되는 단순하고 확장 가능한 전이 학습 레시피를 개발하는 것.

제안 방법

• 표준 훈련 절차를 사용하여 ImageNet-1k와 같은 대규모 감독 데이터셋에서 깊은 신경망을 사전 훈련하는 것.
• 간단한 히우리스틱을 통한 미세조정: 최종 분류 레이어를 교체하고, 새로운 헤드의 초기 가중치를 고정된 작은 값으로 설정하여 헤드만 훈련하는 것.
• 100만 개의 예시로 사전 훈련을 확장하고 다양한 데이터 증강 기법을 활용하여 일반화 성능을 향상시키는 것.
• 아키텍처 변경 없이 다양한 최종 작업에 동일한 사전 훈련 모델과 미세조정 전략을 적용하는 것.
• 미세조정 동안 일관된 학습률 스케줄링 및 가중치 초기화 전략을 사용하여 안정성을 확보하는 것.

실험 결과

연구 질문

• RQ1 대규모 감독 데이터셋에서 사전 훈련을 확장할 경우 다양한 최종 작업에서 전이 성능 향상이 이루어지는가?
• RQ2 단순하고 통합된 미세조정 전략이 극단적으로 다른 데이터 크기를 가진 데이터셋에서도 뛰어난 성능을 달성할 수 있는가?
• RQ3 BiT는 클래스당 1~10개의 예시와 같은 소규모 데이터 제약 조건에서 어떻게 성능을 내는가?
• RQ4 훈련 레시피의 어떤 구성 요소가 높은 전이 정확도에 가장 중요한가?
• RQ5 정확도와 샘플 효율성 측면에서 BiT는 다른 전이 학습 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• BiT는 100만 개의 훈련 예시를 사용하여 ILSVRC-2012에서 87.5%의 top-1 정확도를 달성하여 대규모 ImageNet에서 뛰어난 성능을 보였다.
• 클래스당 예시를 10개로 제한할 경우 BiT는 ILSVRC-2012에서 76.8%의 top-1 정확도를 기록하여 이전 방법들보다 소규모 데이터 환경에서 뚜렷한 승리를 거두었다.
• CIFAR-10에서는 전체 훈련 데이터를 사용할 경우 99.4%의 정확도를 달성했고, 클래스당 10개의 예시만 사용할 경우에도 97.0%의 정확도를 기록했다.
• 19개의 작업으로 구성된 VTAB 벤치마크에서 BiT는 평균 76.3%의 정확도를 기록하여 다양한 비전 작업 간의 뛰어난 일반화 능력을 보였다.
• 최종 레이어를 교체하고 헤드만 훈련하는 단순한 전이 히우리스틱이 모든 데이터셋과 데이터 제약 조건에서 일관된 성능 향상을 이끌어냈다.