[논문 리뷰] Cross-Domain Few-Shot Learning with Meta Fine-Tuning

John Cai, Quan Z. Sheng|arXiv (Cornell University)|2020. 05. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 9인용 수 19

한 줄 요약

이 논문은 소수의 샘플로 이루어진 도메인 간 분류 작업에 대해 후속 미세조정을 위해 최적화된 초기 가중치를 학습하는 일阶 MAML 기반 메타학습 프레임워크인 메타 미세조정을 제안한다. 그래프 신경망과 데이터 증강을 통합함으로써, CVPR 2020 도메인 간 소수 샘플 학습 벤치마크에서 평균 정확도 73.78%를 달성하였으며, 이는 기존의 miniImageNet만을 사용해 훈련한 최고 성능 모델 대비 6.51% 향상된 성능이다.

ABSTRACT

In this paper, we tackle the new Cross-Domain Few-Shot Learning benchmark proposed by the CVPR 2020 Challenge. To this end, we build upon state-of-the-art methods in domain adaptation and few-shot learning to create a system that can be trained to perform both tasks. Inspired by the need to create models designed to be fine-tuned, we explore the integration of transfer-learning (fine-tuning) with meta-learning algorithms, to train a network that has specific layers that are designed to be adapted at a later fine-tuning stage. To do so, we modify the episodic training process to include a first-order MAML-based meta-learning algorithm, and use a Graph Neural Network model as the subsequent meta-learning module. We find that our proposed method helps to boost accuracy significantly, especially when combined with data augmentation. In our final results, we combine the novel method with the baseline method in a simple ensemble, and achieve an average accuracy of 73.78% on the benchmark. This is a 6.51% improvement over existing benchmarks that were trained solely on miniImagenet.

연구 동기 및 목표

• 훈련 도메인과 테스트 도메인이 분포상으로 크게 다를 때 발생하는 심각한 도메인 이동 상황에서 소수 샘플 학습 문제를 해결한다.
• 훈련 데이터와 테스트 데이터 간 도메인 유사성을 가정하는 기존 소수 샘플 학습 모델의 한계를 극복한다.
• 미리 정의되지 않은 도메인에서 레이블이 적은 예시로도 효과적인 미세조정이 가능한 모델 가중치를 명시적으로 최적화하는 메타학습 프레임워크를 개발한다.
• 자연 이미지, 의료 영상, 위성 영상 등 다양한 도메인 간의 강인성과 일반화 능력을 향상시킨다.
• 메타 미세조정 모델과 표준 미세조정 베이스라인을 앙상블 학습을 통해 조합함으로써 더 높은 성능을 달성함을 입증한다.

제안 방법

• 지원 집합에서의 미세조정에 쉽게 적응할 수 있도록 초기 가중치를 학습하는 방식으로 일阶 MAML을 메타 미세조정에 적응시킨다.
• 지원 집합 샘플과 쿼리 샘플 간의 관계를 모델링하기 위해 그래프 신경망(GNN)을 사용하여 레이블 예측을 위한 메시지 전달을 가능하게 한다.
• GNN에 입력하기 전에 특징 임bedding을 저차원 공간으로 투영하여 표현 학습을 향상시킨다.
• 훈련 단계뿐만 아니라 지원 집합에서의 미세조정 단계에도 데이터 증강을 적용하여 강인성을 향상시킨다.
• 수정된 표준 미세조정 방법과 메타 미세조정을 통합하고, 두 모델을 앙상블하여 분산을 줄이고 정확도를 높인다.
• 에피소드 훈련 중에는 특징 추출기의 초기 레이어를 고정하고, 마지막 k개 레이어만 미세조정하여 도메인 불변 특징를 유지한다.

실험 결과

연구 질문

• RQ1 메타학습이 추론 시의 빠른 적응 외에도, 실제로 미세조정을 위해 모델을 사전에 훈련하는 데에도 적합하게 적용될 수 있는가?
• RQ2 다양한 도메인 간 테스트 데이터셋에서 메타 미세조정은 표준 미세조정 대비 어떤 성능을 보이는가?
• RQ3 특히 저샷 환경에서, 지원 집합에서의 미세조정 단계에 데이터 증강을 적용할 경우 어떤 영향을 미치는가?
• RQ4 메타 미세조정 모델과 표준 미세조정 모델을 앙상블 학습을 통해 조합할 경우, 다양한 도메인 간 일관된 성능 향상이 이루어지는가?
• RQ5 메타 미세조정 성능는 원천 도메인(miniImageNet)에 가까운 도메인과 먼 도메인에서 어떻게 달라지는가?

주요 결과

• GNN과 데이터 증강을 통합한 제안된 메타 미세조정 방법은 CVPR 2020 벤치마크의 12개 작업 전반에서 평균 정확도 73.78%를 달성하였으며, 이는 기존의 miniImageNet만을 사용해 훈련한 최고 성능 모델 대비 6.51% 향상된 성능이다.
• 성능 향상은 5샷 수준에서 가장 두드러지며, 베이스라인 Ft-Last1 모델 대비 8.48% 정확도 향상을 기록하여 저샷 환경에서의 강력한 이점을 보여준다.
• 20샷 수준에서는 베이스라인 대비 4.68% 향상되었고, 50샷 수준에서는 6.38% 향상되어 샷 수준에 관계없이 일관된 성능 향상을 보였다.
• 메타 미세조정은 원천 도메인에 가까운 도메인(예: CropDisease, EuroSAT)에서 가장 우수한 성능를 보였지만, 표준 미세조정에 데이터 증강을 적용한 방법은 더 먼 도메인(예: ChestX)에서 뛰어난 성능를 보였다.
• 절단 분석 결과, 메타 미세조정과 단순한 미세조정에 데이터 증강을 적용한 방법은 유사한 성능를 보였지만, miniImageNet에 유사한 도메인에서는 메타 미세조정이 略적으로 더 우수한 성능를 보였다.
• 메타 미세조정 모델과 표준 미세조정 모델을 앙상블 학습을 통해 조합한 결과가 가장 높은 성능를 기록하였으며, 이는 예측 분산을 줄이는 데에 모델 다양성의 이점이 있음을 확인시켰다.