[논문 리뷰] Meta-FDMixup: Cross-Domain Few-Shot Learning Guided by Labeled Target Data

Yuqian Fu, Yanwei Fu외 1명|arXiv (Cornell University)|2021. 07. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 9

한 줄 요약

이 논문은 소수의 레이블된 타겟 데이터를 활용하여 도메인 간 일반화를 향상시키는 메타학습 프레임워크인 Meta-FDMixup을 제안한다. 믹스업 기반 데이터 증강과 분리된 특징 학습을 결합하여 도메인에 영향을 받지 않는 특징와 도메인에 특화된 특징를 분리함으로써, 타겟 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 소스 데이터셋의 정확성까지 향상시킨다.

ABSTRACT

A recent study finds that existing few-shot learning methods, trained on the source domain, fail to generalize to the novel target domain when a domain gap is observed. This motivates the task of Cross-Domain Few-Shot Learning (CD-FSL). In this paper, we realize that the labeled target data in CD-FSL has not been leveraged in any way to help the learning process. Thus, we advocate utilizing few labeled target data to guide the model learning. Technically, a novel meta-FDMixup network is proposed. We tackle this problem mainly from two aspects. Firstly, to utilize the source and the newly introduced target data of two different class sets, a mixup module is re-proposed and integrated into the meta-learning mechanism. Secondly, a novel disentangle module together with a domain classifier is proposed to extract the disentangled domain-irrelevant and domain-specific features. These two modules together enable our model to narrow the domain gap thus generalizing well to the target datasets. Additionally, a detailed feasibility and pilot study is conducted to reflect the intuitive understanding of CD-FSL under our new setting. Experimental results show the effectiveness of our new setting and the proposed method. Codes and models are available at https://github.com/lovelyqian/Meta-FDMixup.

연구 동기 및 목표

• 소스 도메인과 타겟 도메인이 크게 다를 경우 기존 방법이 실패하는 도메인 이동 문제를 해결하기 위해.
• 소수의 레이블된 타겟 예제를 보조 데이터로 사용하여 메타학습을 이끄는 가능성과 효과성을 탐색하기 위해.
• 더 나은 제로샷 일반화를 위해 도메인에 영향을 받지 않는 특징와 도메인에 특화된 인도크티브 바이어스를 함께 학습하는 방법을 개발하기 위해.
• 메타학습 파이프라인에 레이블된 타겟 데이터를 통합하는 데 최적의 훈련 전략을 검증하기 위해.

제안 방법

• 메타학습 기간 동안 소스 데이터셋과 보조(레이블된 타겟) 데이터셋 간에 믹스업 증강을 통합한 새로운 메타-FDMixup 네트워크를 제안한다.
• 이미지 특징를 도메인에 영향을 받지 않는(공유) 요소와 도메인에 특화된(유일한) 요소로 분리하기 위해 분리 모듈을 도입한다.
• 도메인에 영향을 받지 않는 특징를 사용하여 소스 지원 세트와 보조 지원 세트 양쪽 모두에 소수의 시도 분류 작업을 수행한다.
• 소스 도메인과 타겟 도메인을 구분하는 도메인 분류기를 훈련시켜 도메인에 특화된 특징의 분리도를 강화한다.
• 믹스업 비율 λ는 보통분포 Beta(α, α)에서 샘플링하여 소스 도메인과 보조 도메인 간의 균형 잡힌 데이터 혼합을 확보한다.
• 소수의 시도 분류와 도메인 분류 목표를 결합한 다중 작업 손실을 사용하여 프레임워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 소수의 레이블된 타겟 예제가 도메인 간 설정에서 소수의 시도 일반화 성능을 크게 향상시킬 수 있는가?
• RQ2 메타학습의 어느 단계에서 보조 타겟 데이터를 도입해야 최적의 성능을 낼 수 있는가?
• RQ3 보조 레이블된 예제의 수가 모델의 정확성과 강건성에 어떤 영향을 미치는가?
• RQ4 도메인에 영향을 받지 않는 특징와 도메인에 특화된 특징를 함께 학습하는 것이 표준 메타학습보다 더 나은 일반화를 이끌어내는가?

주요 결과

• 타겟 도메인에서 단 5~10개의 레이블된 예제만 도입되어도 도메인 간 소수의 시도 학습에서 성능 향상이 뚜렷하게 이루어진다.
• 이중 소수의 시도 분류 작업 메커니즘이 단일 작업 기반 모델보다 소스 및 타겟 데이터셋 양쪽에서 더 높은 성능을 보이며, 두 도메인 간 상호 보완적 향상이 이루어짐을 시사한다.
• λ가 한 도메인을 지나치게 선호하도록 제약을 둘 경우 성능이 저하됨을 확인하여 균형 잡힌 혼합이 다양성과 일반화에 매우 중요함을 입증한다.
• Grad-CAM 시각화 결과, 제안된 모델이 타겟 클래스 이미지의 특징적인 부분(예: 새의 깃털)에 주의를 기울이는 반면, 기준 모델은 배경이나 도메인에 특화된 잡음에 집중하는 것으로 나타났다.
• CUB, Cars, Places, Plantae 등의 여러 타겟 데이터셋에서 최신 기술 수준의 정확도를 달성하면서도 소스 미니-ImageNet 데이터셋의 성능까지 향상시켰다.