[논문 리뷰] Domain-Adaptive Few-Shot Learning

An Zhao, Mingyu Ding외 6명|arXiv (Cornell University)|2020. 03. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 57인용 수 7

한 줄 요약

이 논문은 도메인 적응적 소수 샘플 학습(DA-FSL)을 위한 통합 프레임워크인 도메인 적대적 프로토타입 네트워크(DAPN)를 제안한다. DAPN은 소수 샘플 분류와 도메인 이동을 동시에 다루며, 도메인 간 분포 일치와 클래스 간 분리성의 균형을 이루며, DomainNet, Sketch, Quick-Draw를 포함한 여러 벤치마크에서 최신 기술(SOTA)을 초월한다.

ABSTRACT

Existing few-shot learning (FSL) methods make the implicit assumption that the few target class samples are from the same domain as the source class samples. However, in practice this assumption is often invalid -- the target classes could come from a different domain. This poses an additional challenge of domain adaptation (DA) with few training samples. In this paper, the problem of domain-adaptive few-shot learning (DA-FSL) is tackled, which requires solving FSL and DA in a unified framework. To this end, we propose a novel domain-adversarial prototypical network (DAPN) model. It is designed to address a specific challenge in DA-FSL: the DA objective means that the source and target data distributions need to be aligned, typically through a shared domain-adaptive feature embedding space; but the FSL objective dictates that the target domain per class distribution must be different from that of any source domain class, meaning aligning the distributions across domains may harm the FSL performance. How to achieve global domain distribution alignment whilst maintaining source/target per-class discriminativeness thus becomes the key. Our solution is to explicitly enhance the source/target per-class separation before domain-adaptive feature embedding learning in the DAPN, in order to alleviate the negative effect of domain alignment on FSL. Extensive experiments show that our DAPN outperforms the state-of-the-art FSL and DA models, as well as their naïve combinations. The code is available at https://github.com/dingmyu/DAPN.

연구 동기 및 목표

• 기존 연구에서 간과된, 소스 클래스와는 다른 도메인에서 온 타겟 클래스에 대해 소수 샘플 학습의 과제를 해결한다.
• 동일한 프레임워크 내에서 도메인 적응(분포 일치가 필요함)과 소수 샘플 학습(클래스 구분성이 필요함) 간의 갈등을 해결한다.
• 최소한의 타겟 레이블이 있는 데이터로 동시에 소수 샘플 분류와 도메인 적응을 가능하게 하는 통합 모델을 개발한다.
• 카메라 유형의 변화나 스케치 대비 사진 등의 데이터 분포 이동이 발생하는 현실 세계 시나리오에서의 일반화 능력을 향상시킨다.

제안 방법

• 단일 아키텍처 내에서 프로토타입 거리 기반 학습과 도메인 적응을 통합한 새로운 도메인 적대적 프로토타입 네트워크(DAPN)를 제안한다.
• 도메인 분류 손실($L_{ds}$)을 특징 임bedding 모듈 이전에 도입하여, 도메인 일치 이전에 소스-타겟 클래스 간 분리성을 강화한다.
• 임bedding 모듈 이후에 도메인 혼동 손실($L_{dc}$)을 적용하여 전반적인 도메인 분포를 일치시키면서도 각 클래스의 구조를 유지한다.
• 도메인 일치와 클래스 구분성 간의 경쟁적 목적을 균형 있게 조절하기 위해 다중 손실의 적응형 재가중을 사용한다.
• 지지 집합의 임베딩을 사용하여 프로토타입 네트워크를 기반으로 소수 샘플 분류를 수행하며, 적대적 훈련을 통해 도메인 적응 특징을 학습한다.
• 프로토타입 손실($L_{ps}$), 각 클래스별 도메인 손실($L_{pd}$), 도메인 혼동($L_{dc}$), 도메인 분류($L_{ds}$)의 조합을 사용해 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 타겟 클래스가 소스 클래스와 다른 도메인에 속할 경우, 통합 모델이 소수 샘플 분류와 도메인 적응을 효과적으로 동시에 해결할 수 있는가?
• RQ2 전반적인 분포 일치로 인해 클래스의 구분성이 떨어지는 것을 방지하면서, 도메인 적응을 소수 샘플 학습과 어떻게 통합할 수 있는가?
• RQ3 임베딩 이전에 도메인 분류를 도입하면, 임베딩 이후 도메인 혼동만을 사용하는 것보다 성능 향상이 이루어지는가?
• RQ4 적응형 손실 재가중이 DA-FSL에서 갈등하는 목적 간 균형을 얼마나 향상시키는가?

주요 결과

• DAPN은 5-way 5-shot 설정에서 DomainNet, Sketch, Quick-Draw 데이터셋에서 최신 기술(SOTA)의 소수 샘플 학습 및 도메인 적응 모델을 모두 능가한다.
• 제거 실험을 통해 도메인 분류, 도메인 혼동, 적응형 재가중 기능이 성능 향상에 기여한다는 것이 확인되었다.
• 임베딩 이전에 도메인 분류($L_{ds}$)를 도입함으로써 소스-타겟 클래스 간 분리성이 향상되었으며, t-SNE 시각화를 통해 검증되었다.
• 임베딩 이후 도메인 혼동($L_{dc}$)은 전반적인 도메인 일치에 필수적이며, FSL+DC는 FSL 단독 대비 상당한 성능 향상을 보였다.
• 전체 모델(FSL+DAA+ARW)은 모든 데이터셋에서 가장 높은 정확도를 기록하여 다목적 최적화의 효과를 입증했다.
• 스케치 및 Quick-Draw와 같은 도메인 갭이 더 큰 합성 데이터셋에서도 모델은 뛰어난 안정성을 보였으며, 이는 일반화 능력을 확인한다.