[논문 리뷰] An empirical study of pretrained representations for few-shot classification

Tiago Ramalho, T. Sousbie외 1명|arXiv (Cornell University)|2019. 10. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 4

한 줄 요약

이 논문은 사전 훈련된 딥 네ural 네트워크를 소수의 이미지 분류 작업에 특징 추출기로 사용하여 실증적으로 평가하며, 사전 훈련된 ImageNet 모델이 소수의 이미지 분류 작업에서 비지도 학습 및 적대적 방어 모델보다 전이 성능에서 뛰어남을 입증한다. 이 연구는 사전 훈련된 특징을 사용할 때 코사인 유사도가 L2 거리보다 일관되게 우수한 성능을 보이며, 더 깊이 있는 사전 훈련된 백본이 다양한 데이터셋에서 뛰어난 소수의 이미지 분류 정확도를 제공함을 발견한다.

ABSTRACT

Recent algorithms with state-of-the-art few-shot classification results start their procedure by computing data features output by a large pretrained model. In this paper we systematically investigate which models provide the best representations for a few-shot image classification task when pretrained on the Imagenet dataset. We test their representations when used as the starting point for different few-shot classification algorithms. We observe that models trained on a supervised classification task have higher performance than models trained in an unsupervised manner even when transferred to out-of-distribution datasets. Models trained with adversarial robustness transfer better, while having slightly lower accuracy than supervised models.

연구 동기 및 목표

• 다양한 사전 훈련된 모델이 소수의 이미지 분류 작업으로 얼마나 잘 전이되는지 체계적으로 평가하는 것.
• 소수의 이미지 학습을 위한 특징 표현을 제공하는 데 있어 사전 훈련된, 비지도 학습된, 또는 적대적 방어성 모델 중 어느 것이 더 우수한지 확인하는 것.
• 사전 훈련된 특징을 사용할 때 유사도 함수(예: 코사인 유사도 대비 L2 거리)의 영향을 조사하는 것.
• MNIST 및 SVHN을 포함한 내분포 및 외분포 데이터셋 간의 전이 성능를 평가하는 것.
• 특히 엔드 투 엔드로 훈련된 모델과 대비하여 사전 훈련된 백본을 사용하는 데 있어 최선의 실천 방법을 규명하는 것.

제안 방법

• 다양한 사전 훈련된 합성곱 신경망 백본을 사용하여 14개의 서로 다른 데이터셋을 평가하며, 소수의 이미지 분류 방법을 통해 미세조정 또는 적응시킨다.
• 모든 사전 훈련된 모델의 최종 레이어에서 특징 표현을 추출하며, 추가 훈련 없이 유사도 기반 소수의 이미지 분류기의 입력으로 사용한다.
• 세 가지 적응 방법을 사용한다: 매칭 네트워크, 프로토타입 네트워크, SGD를 사용한 로지스틱 회귀이며, 각각 다른 유사도 함수(코사인, L2, 정규화되지 않은 내적)와 조합된다.
• 5샷, 10샷, 그 이상의 소수의 샘플 설정을 통해 성능을 측정하여 메서드의 스케일러빌리티를 평가한다.
• ImageNet에서 사전 훈련된 모델의 성능을 비교하기 위해 지도 학습, 자기지도 학습, 적대적 방어 목표를 사용한 사전 훈련된 모델을 비교한다.
• 모든 데이터셋에 걸쳐 평균을 내어 평균 정확도로 보고함으로써 모델 간 및 메서드 간 비교가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 ImageNet 모델이 비지도 학습 또는 적대적 방어 모델보다 소수의 이미지 분류 작업으로 더 잘 전이되는가?
• RQ2 사전 훈련된 특징을 사용할 때 유사도 함수의 선택(코사인, L2, 내적)이 소수의 이미지 분류 성능에 어떤 영향을 미치는가?
• RQ3 내분포 및 외분포 데이터셋 간에 사전 훈련된 특징을 사용할 때 소수의 이미지 분류 모델의 성능에 큰 차이가 나는가?
• RQ4 사전 훈련된 모델에서 특징을 추출할 때 백본의 깊이와 아키텍처가 소수의 이미지 분류 정확도에 어떤 영향을 미치는가?
• RQ5 엔드 투 엔드로 훈련된 소수의 이미지 학습에서 알려진 최선의 실천 방법(예: L2 거리)이 사전 훈련된 특징을 사용할 때에도 유효한가?

주요 결과

• 사전 훈련된 ImageNet 모델은 MNIST 및 SVHN과 같은 외분포 데이터셋에서도 비지도 학습 및 적대적 방어 모델보다 일관되게 뛰어난 소수의 이미지 분류 성능을 보인다.
• 적대적 방어성으로 사전 훈련된 모델은 외분포 데이터셋으로 전이될 때 성능 저하가 더 적게 발생하지만, 절대 정확도는 표준 사전 훈련된 모델보다 略적으로 낮다.
• 비지도 사전 훈련 방법은 사전 훈련된 모델과 비교해 성능이 떨어지며, 소수의 이미지 작업으로의 전이 성능도 떨어지지 않는다.
• 사전 훈련된 특징을 사용할 때 코사인 유사도는 L2 거리보다 일관되게 뛰어나며, 이는 엔드 투 엔드로 훈련된 소수의 이미지 모델의 결과와는 반대된다.
• 1~5샷의 경우, 코사인 유사도를 사용하는 프로토타입 네트워크와 같은 유사도 기반 메서드가 가장 우수한 성능을 보이며, 10샷 이상의 경우 마지막 레이어를 미세조정하는 것(SGD 로지스틱 회귀)이 더 효과적이다.
• EfficientNet-B7는 모든 데이터셋에서 가장 뛰어난 안정성 있는 성능을 보이며, WSL 모델은 최적의 초모수 설정 하에 가장 높은 정점 정확도를 달성한다.