[논문 리뷰] Revisiting Fine-tuning for Few-shot Learning

Akihiro Nakamura, Tatsuya Harada|arXiv (Cornell University)|2019. 10. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 30

한 줄 요약

이 논문은 소수의 예시 학습을 위한 네트워크 미세조정을 재고하며, 특히 낮은 학습률, 어댑티브 옵티마이저(예: Adam) 및 전체 네트워크 미세조정과 같은 적절한 초모수 설정을 통해 저해상도, 고해상도, 크로스 도메인 소수의 예시 이미지 분류 벤치마크에서 최신 기준 또는 그 이상의 성능을 달성함을 보여준다. 많은 경우에서 전용 소수의 예시 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Few-shot learning is the process of learning novel classes using only a few examples and it remains a challenging task in machine learning. Many sophisticated few-shot learning algorithms have been proposed based on the notion that networks can easily overfit to novel examples if they are simply fine-tuned using only a few examples. In this study, we show that in the commonly used low-resolution mini-ImageNet dataset, the fine-tuning method achieves higher accuracy than common few-shot learning algorithms in the 1-shot task and nearly the same accuracy as that of the state-of-the-art algorithm in the 5-shot task. We then evaluate our method with more practical tasks, namely the high-resolution single-domain and cross-domain tasks. With both tasks, we show that our method achieves higher accuracy than common few-shot learning algorithms. We further analyze the experimental results and show that: 1) the retraining process can be stabilized by employing a low learning rate, 2) using adaptive gradient optimizers during fine-tuning can increase test accuracy, and 3) test accuracy can be improved by updating the entire network when a large domain-shift exists between base and novel classes.

연구 동기 및 목표

• 소수의 예시 학습에서 표준 네트워크 미세조정의 성능을 재평가하여, 전통적으로 전용 알고리즘보다 열 劣한 것으로 간주되는 것이 본질적으로 열 劣한가를 도전한다.
• 미세조정이 저해상도, 고해상도, 크로스 도메인 소수의 예시 학습 벤치마크에서 경쟁 가능한 정확도를 달성할 수 있는지 조사한다.
• 저자료 환경에서 미세조정 성능을 안정화하고 향상시키는 데 핵심이 되는 초모수와 학습 전략을 규명한다.
• 도메인 이동이 미세조정 효과성에 미치는 영향을 분석하고, 다양한 네트워크 구성 요소에 대한 최적의 업데이트 전략을 규명한다.

제안 방법

• 저해상도 및 고해상도 mini-ImageNet, 크로스 도메인 데이터셋에서 표준 확률적 경사 하강법을 사용하여, 저학습률을 적용한 사전 학습된 딥 네트워크(예: ResNet-18, VGG-16)를 소수의 예시 지원 세트에서 미세조정한다.
• 수렴성과 테스트 정확도 향상을 위해 Adam, Adamax, Adagrad, RMSprop 등의 어댑티브 기울기 옵티마이저를 활용한다.
• 네트워크의 다양한 부분에 대한 미세조정을 체계적으로 평가: 분류기 헤드 전용, 배치 정규화 및 완전 연결층 전용, 또는 전체 네트워크 전용.
• 소수의 예시 분류에서 일반화 및 안정성을 향상시키기 위해 정규화된 분류기 헤드를 사용한다.
• 세 가지 벤치마크 설정에서 실험을 수행: 저해상도 mini-ImageNet(기본), 고해상도 mini-ImageNet(실용적 단일 도메인), 크로스 도메인 데이터셋(큰 도메인 이동).
• 학습률과 미세조정 에포크 수를 조정하기 위해 검증 세트를 적용하여 다양한 작업 간의 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 적절히 튜닝된 경우, 표준 네트워크 미세조정이 전용 소수의 예시 학습 알고리즘을 뛰어넘을 수 있는가?
• RQ2 학습률의 선택이 소수의 예시 설정에서 미세조정의 안정성과 정확도에 어떤 영향을 미치는가?
• RQ3 Adam과 같은 어댑티브 기울기 옵티마이저를 사용할 경우, 표준 SGD에 비해 소수의 예시 분류 정확도가 향상되는가?
• RQ4 전체 네트워크를 업데이트하는 것이 분류기 헤드 전용 미세조정보다 더 효과적인 조건은 무엇인가?
• RQ5 기본 클래스와 새로운 클래스 간의 도메인 이동이 미세조정 전략의 성능에 어떤 영향을 미치는가?

주요 결과

• 1-shot 저해상도 mini-ImageNet 작업에서, 최적의 초모수를 적용한 미세조정은 일반적인 소수의 예시 학습 알고리즘보다 높은 정확도를 달성했다.
• 5-shot 저해상도 작업에서, 미세조정은 최신 기준 방법과 거의 동일한 정확도를 달성하여 강력한 경쟁력을 보였다.
• 낮은 학습률(예: 0.0001)을 사용함으로써 미세조정 과정이 안정화되었고, 발산 방지 및 수렴 안정성 향상에 기여했다.
• Adagrad, Adam 등 어댑티브 기울기 옵티마이저는 특히 정규화된 분류기 헤드와 조합되었을 때 테스트 정확도를 크게 향상시켰다.
• 기본 클래스와 새로운 클래스 간에 큰 도메인 이동이 존재할 경우, 전체 네트워크 업데이트가 분류기 헤드 전용 업데이트보다 높은 테스트 정확도를 제공했다. 특히 크로스 도메인 작업에서 두드러졌다.
• 전체 네트워크 미세조정의 성능 향상은 도메인 이동이 상당히 큰 크로스 도메인 작업에서 가장 두드러졌다.