[논문 리뷰] SB-MTL: Score-based Meta Transfer-Learning for Cross-Domain Few-Shot Learning

John Cai, Bill Cai외 1명|arXiv (Cornell University)|2020. 12. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 4

한 줄 요약

이 논문은 날카러운 도메인 분포 이탈 상황에서 교차 도메인 소수 샘플 학습을 향상시키기 위해 일阶 MAML 최적화와 점수 기반 그래프 신경망(GNN)을 융합한 새로운 방법인 점수 기반 메타 전이 학습(SB-MTL)을 제안한다. 사전 소프트맥스 분류 점수를 거리 공간으로 매핑하고 GNN을 통해 레이블 전파를 통해 예측을 보정함으로써, BSCD-FSL 벤치마크에서 기존의 메타학습 및 전이학습 방법보다 평균 14.28%와 5.93% 높은 최신 기술 수준(SOTA)의 정확도를 달성한다.

ABSTRACT

While many deep learning methods have seen significant success in tackling the problem of domain adaptation and few-shot learning separately, far fewer methods are able to jointly tackle both problems in Cross-Domain Few-Shot Learning (CD-FSL). This problem is exacerbated under sharp domain shifts that typify common computer vision applications. In this paper, we present a novel, flexible and effective method to address the CD-FSL problem. Our method, called Score-based Meta Transfer-Learning (SB-MTL), combines transfer-learning and meta-learning by using a MAML-optimized feature encoder and a score-based Graph Neural Network. First, we have a feature encoder with specific layers designed to be fine-tuned. To do so, we apply a first-order MAML algorithm to find good initializations. Second, instead of directly taking the classification scores after fine-tuning, we interpret the scores as coordinates by mapping the pre-softmax classification scores onto a metric space. Subsequently, we apply a Graph Neural Network to propagate label information from the support set to the query set in our score-based metric space. We test our model on the Broader Study of Cross-Domain Few-Shot Learning (BSCD-FSL) benchmark, which includes a range of target domains with highly varying dissimilarity to the miniImagenet source domain. We observe significant improvements in accuracy across 5, 20 and 50 shot, and on the four target domains. In terms of average accuracy, our model outperforms previous transfer-learning methods by 5.93% and previous meta-learning methods by 14.28%.

연구 동기 및 목표

• 원천 도메인과 목표 도메인 간의 분포 이탈이 심한 상황에서 기존 방법이 실패하는 날카러운 도메인 이탈 하에서 교차 도메인 소수 샘플 학습(CD-FSL) 문제를 해결한다.
• 위성, 의료, 자연 이미지 등 매우 이질적인 도메인에서 성능이 저하되는 기존의 메타학습 및 전이학습 접근법의 한계를 극복한다.
• 빠른 적응 능력(메타학습의 강점)과 특징 전달 능력(전이학습의 강점)을 효과적으로 융합하여 다양한 도메인 간에 강건한 일반화를 달성하는 통합 프레임워크를 개발한다.
• 원시 특징이 아닌 분류 점수를 기반으로 한 메트릭 공간을 설계하여 도메인에 영향을 받지 않는 표현 학습을 가능하게 한다.
• 초기 예측에서 발생하는 비대칭 혼동 패턴을 점수 기반 GNN이 보정할 수 있음을 입증함으로써, 저샷 및 분포 외부 설정에서의 강건성과 정확도를 향상시킨다.

제안 방법

• 빠른 적응을 위해 미세조정 가능한 레이어를 갖춘 딥 리세プ트 네트워크를 사용하고, 일阶 MAML 알고리즘으로 최적화하여 초기 가중치를 학습한다.
• 미세조정된 모델의 사전 소프트맥스 분류 점수를 선형 투영 레이어를 통해 학습된 메트릭 공간에 매핑하여 점수 기반 표현을 생성한다.
• 점수 기반 메트릭 공간에서 지원셋 이미지의 레이블 정보를 쿼리 이미지로 전파하기 위해 그래프 신경망(GNN)을 적용하며, 이는 예측된 점수와 진짜 레이블을 바탕으로 메시지 전달을 가능하게 한다.
• 노드가 지원셋 및 쿼리 이미지를 나타내고, 간선이 분류 점수 유사도를 인코딩하는 그래프를 구축함으로써, GNN이 이웃 정보 집합을 통해 예측을 보정할 수 있도록 한다.
• 특히 저샷 환경에서 성능 향상을 위해 추론 단계에서 데이터 증강을 통합한다.
• 에피소드 기반 훈련을 통해 엔드 투 엔드로 훈련하며, 각 에피소드는 소수의 클래스와 지원셋, 쿼리셋을 샘플링하여 소수 샘플 일반화를 최적화한다.

실험 결과

연구 질문

• RQ1 메타학습 프레임워크는 교차 도메인 소수 샘플 학습에서 매우 이질적인 목표 도메인으로도 효과적으로 일반화할 수 있는가?
• RQ2 GNN에 사전 소프트맥스 분류 점수를 입력으로 사용할 경우, 직접 예측이나 특징 기반 메트릭 학습에 비해 성능 향상이 어떻게 이루어지는가?
• RQ3 점수 기반 메트릭 공간은 저샷 설정에서 과적합을 얼마나 줄이고 비대칭 혼동 패턴을 얼마나 효과적으로 보정할 수 있는가?
• RQ4 MAML 기반 미세조정과 GNN 기반 재분류 모듈을 융합한 방법이 BSCD-FSL 벤치마크에서 단독 메타학습 또는 전이학습 기반 베이스라인을 초월하는가?
• RQ5 다양한 유사도 수준의 도메인(원천 도메인과의 유사도가 다른 도메인)에서 점수 기반 GNN의 성능는 어떻게 변화하는가?

주요 결과

• SB-MTL은 BSCD-FSL 벤치마크에서 평균 정확도 74.06%를 달성하여, 이전 최신 기술 수준의 메타학습 방법보다 평균 14.28% 높고, 전이학습 방법보다는 5.93% 높은 성능을 보였다.
• 50-shot 설정에서 SB-MTL은 EuroSAT와 CropDisease에서 일반적인 지도 학습 딥 뉴럴 네트워크 모델과 유사하거나 높은 정확도를 기록했다.
• 점수 기반 GNN을 추가함으로써 선형 MTL(일阶 MAML만 사용) 기반 베이스라인 대비 정확도 향상이 이루어졌으며, 특히 도메인 이탈이 중간 수준인 CropDisease와 EuroSAT에서 가장 큰 성과를 보였다.
• 비대칭성 측정 결과, SB-MTL은 Linear MTL 대비 CropDisease에서 혼동 행렬의 비대칭성을 63.95% 감소시키고, EuroSAT에서는 58.12% 감소시켜 초기 예측의 편향을 효과적으로 보정함을 시사한다.
• 점수 기반 GNN은 원천 도메인과 유사도가 높은 도메인에서 가장 효과적이며, 이는 EuroSAT과 CropDisease에서의 정확도 향상 폭이 ISIC와 ChestX보다 더 높은 것으로 나타났다.
• 데이터 증강만으로는 성능 격차를 설명할 수 없으며, 점수 기반 GNN은 증강 외에도 특히 도메인 이탈이 심한 환경에서 뚜렷하고 일관된 성능 향상을 제공한다.