[논문 리뷰] Do Better ImageNet Models Transfer Better?

Simon Kornblith, Jonathon Shlens외 1명|arXiv (Cornell University)|2018. 05. 23.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 더 나은 성능을 내는 ImageNet 모델이 다른 비전 작업으로 더 효과적으로 전이되는지 조사한다. 12개의 데이터셋에서 16개의 CNN 아키텍처를 사용하여, 고정된 특징을 사용할 때 ImageNet 정확도와 전이 성능 사이에 강한 상관관계(r=0.99)가 있음을 발견하지만, ImageNet 정확도를 향상시키는 정규화 기법이 전이 가능성에 악영향을 줄 수 있음을 보여준다. 이 연구는 ImageNet 특징이 예상보다 광범위하게 일반화되지 않음을 드러내며, 특히 세분화된 데이터셋에서는 미세조정이 무작위 초기화보다 거의 이득을 주지 못함을 시사한다.

ABSTRACT

Transfer learning is a cornerstone of computer vision, yet little work has been done to evaluate the relationship between architecture and transfer. An implicit hypothesis in modern computer vision research is that models that perform better on ImageNet necessarily perform better on other vision tasks. However, this hypothesis has never been systematically tested. Here, we compare the performance of 16 classification networks on 12 image classification datasets. We find that, when networks are used as fixed feature extractors or fine-tuned, there is a strong correlation between ImageNet accuracy and transfer accuracy ($r = 0.99$ and $0.96$, respectively). In the former setting, we find that this relationship is very sensitive to the way in which networks are trained on ImageNet; many common forms of regularization slightly improve ImageNet accuracy but yield penultimate layer features that are much worse for transfer learning. Additionally, we find that, on two small fine-grained image classification datasets, pretraining on ImageNet provides minimal benefits, indicating the learned features from ImageNet do not transfer well to fine-grained tasks. Together, our results show that ImageNet architectures generalize well across datasets, but ImageNet features are less general than previously suggested.

연구 동기 및 목표

• 더 나은 ImageNet 모델이 다른 비전 작업으로 더 잘 일반화된다는 널리 퍼진 가정을 검증하기 위해.
• ImageNet에서의 아키텍처 개선 및 정규화가 전이 학습 성능에 어떤 영향을 미치는지 평가하기 위해.
• 특히 세분화된 데이터셋에서 ImageNet 사전학습에서의 미세조정이 일관된 이점을 제공하는지 조사하기 위해.
• ImageNet 분포를 초월한 ImageNet 특징의 일반화 능력을 평가하기 위해.

제안 방법

• 저자는 ImageNet에서 16개의 현대적인 CNN 아키텍처를 훈련하고 평가한 후, 이를 12개의 하류 이미지 분류 데이터셋에서 고정된 특징 추출기로 사용한다.
• 동일한 ImageNet 사전학습된 네트워크를 12개의 하류 데이터셋 각각에서 미세조정하여 다양한 설정에서의 전이 성능를 비교한다.
• 선형 분류를 통해 최전단 층 특징과 전체 네트워크의 미세조정을 비교하고, 각 데이터셋에서의 정확도를 측정한다.
• 다양한 정규화 기법(예: 드롭아웃, 웨이트 디케이)이 ImageNet 정확도와 하류 전이 성능에 미치는 영향을 분석한다.
• 로그릿 변환과 상관 분석(Pearson r)을 사용하여 ImageNet 정확도와 전이 정확도 사이의 관계를 정량화한다.
• 저작도와 고급 변동성이 큰 설정에서의 전이 가능성 테스트를 위해 두 개의 작은 세분화된 데이터셋(Birdsnap, Flowers)을 평가한다.

실험 결과

연구 질문

• RQ1 고정된 특징을 사용할 때, ImageNet top-1 정확도와 전이 성능 사이에 강한 상관관계가 존재하는가?
• RQ2 정규화 기법을 통해 ImageNet 정확도를 향상시키는 것이 최전단 층 특징의 전이 가능성에 향상시키는가?
• RQ3 무작위 초기화 대비 ImageNet 사전학습에서의 미세조정이 하류 작업 성능에 얼마나 향상시키는가?
• RQ4 고내적 변동성이 높은 세분화된 이미지 분류 작업에 대해 ImageNet 특징은 얼마나 잘 전이되는가?
• RQ5 특징 전이가 잘 되지 않을 때조차도 더 나은 ImageNet 아키텍처가 하류 작업에서 더 높은 정확도를 달성할 수 있는가?

주요 결과

• 12개의 데이터셋에서 고정된 최전단 층 특징을 사용할 때, ImageNet top-1 정확도와 전이 정확도 사이에 매우 강한 상관관계(r=0.99)가 존재한다.
• ImageNet 정확도를 약간 향상시키는 정규화 기법(예: 드롭아웃, 웨이트 디케이)은 종종 전이 학습을 위한 특징 품질을 떨어뜨리며, ImageNet 성능과 전이 성능 사이에 상충관계가 있음을 시사한다.
• ImageNet 초기화에서의 미세조정은 ImageNet 정확도와 하류 전이 정확도 사이에 높은 상관관계(r=0.96)를 보이며, 표준 미세조정 설정에서의 가정을 확인한다.
• 두 개의 세분화된 분류 데이터셋(Birdsnap 및 Flowers)에서, ImageNet에서의 초기화에서의 미세조정은 무작위 초기화로 학습하는 것보다 성능 향상이 거의 없음을 보여주며, 세분화된 작업에 대한 특징 전이가 열악함을 시사한다.
• 특징 전이가 잘 되지 않을지라도 더 나은 ImageNet 아키텍처는 여전히 하류 작업에서 더 높은 정확도를 달성하며, 이는 아키텍처 용량 자체가 성능에 기여함을 시사한다.
• 이 연구는 ImageNet 모델이 넓은 범위의 비전 작업에서 잘 일반화되지만, 특히 세분화된 인식 작업에서 예상보다 특징 전이 능력이 떨어지며, 이는 이전에 생각했던 것보다 특징의 일반화 능력이 떨어짐을 보여준다.