[논문 리뷰] Cross-Domain Few-Shot Classification via Adversarial Task Augmentation

Haoqing Wang, Zhihong Deng|arXiv (Cornell University)|2021. 04. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 20인용 수 7

한 줄 요약

이 논문은 소스 태스크 분포 주변의 악성 최적화를 통해 인도적 편향 적응형 '도전적인' 태스크를 생성하는 악성 태스크 증강을 제안하여 교차 도메인 소수 샘플 분류 성능을 향상시킨다. 이 방법은 도메인 이동 상황에서도 메타학습 모델의 강건성을 향상시키며, 다양한 소수 샘플 데이터셋 9종에서 표준 메타학습 및 미세조정 기반 베이스라인을 크게 능가한다. 이는 다양한 모델에 즉시 통합 가능한 모듈로 활용될 수 있다.

ABSTRACT

Few-shot classification aims to recognize unseen classes with few labeled samples from each class. Many meta-learning models for few-shot classification elaborately design various task-shared inductive bias (meta-knowledge) to solve such tasks, and achieve impressive performance. However, when there exists the domain shift between the training tasks and the test tasks, the obtained inductive bias fails to generalize across domains, which degrades the performance of the meta-learning models. In this work, we aim to improve the robustness of the inductive bias through task augmentation. Concretely, we consider the worst-case problem around the source task distribution, and propose the adversarial task augmentation method which can generate the inductive bias-adaptive 'challenging' tasks. Our method can be used as a simple plug-and-play module for various meta-learning models, and improve their cross-domain generalization capability. We conduct extensive experiments under the cross-domain setting, using nine few-shot classification datasets: mini-ImageNet, CUB, Cars, Places, Plantae, CropDiseases, EuroSAT, ISIC and ChestX. Experimental results show that our method can effectively improve the few-shot classification performance of the meta-learning models under domain shift, and outperforms the existing works. Our code is available at https://github.com/Haoqing-Wang/CDFSL-ATA.

연구 동기 및 목표

• 소수 샘플 분류에서 도메인 이동 상황에서 메타학습 모델의 일반화 성능 저하 문제를 해결한다.
• 태스크 특화 인도적 편향이나 수동 설계에 의존하는 기존 방법의 한계를 극복한다.
• 대상 도메인 데이터가 필요 없이 교차 도메인 강건성을 향상시킬 수 있는 일반적이고 즉시 통합 가능한 방법을 개발한다.
• 가장 악성인 태스크 분포를 시뮬레이션하여 메타학습 모델이 미리 정의되지 않은 도메인으로 일반화할 수 있도록 한다.

제안 방법

• 거리 메트릭 D(T, T₀) ≤ ρ로 정의된 소스 태스크 분포의 이웃 영역에서 악성 최적화 문제로 문제를 정식화한다.
• 기울기 기반 최적화를 사용하여 모델의 인도적 편향을 시험하는 악성 태스크를 생성하며, 특히 손실 함수 L(T; θ)를 대상으로 한다.
• 다양성을 높이고 일반화 성능을 햖थ기 위해 무작위 컨볼루션을 보조 태스크 증강 기법으로 도입한다.
• 악성 태스크 생성 과정에서 조기 정지 기법을 적용하여 명시적 정규화 없이도 태스크 분포를 암묵적으로 정규화한다.
• 메트릭 기반(예: RelationNet), 그래프 신경망(GNN), 소수 샘플 학습(TPN) 모델을 포함한 다양한 메타학습 모델에 통합 가능한 즉시 통합 모듈을 설계한다.
• 지원 세트 간의 특징 수준 차이를 기반으로 한 거리 메트릭을 사용하여 태스크 분포 이동을 정의한다.

실험 결과

연구 질문

• RQ1 악성 태스크 증강은 소수 샘플 분류에서 메타학습 모델의 교차 도메인 일반화 성능을 향상시킬 수 있는가?
• RQ2 제안된 방법은 교차 도메인 소수 샘플 설정에서 표준 미세조정 및 사전학습과 비교해 어떻게 성능을 냈는가?
• RQ3 이 방법은 다양한 인도적 편향을 가진 다양한 유형의 메타학습 모델에 일반화되는가?
• RQ4 태스크 증강 과정에서 무작위 컨볼루션과 정규화 항의 영향은 무엇인가?

주요 결과

• 제안된 악성 태스크 증강 방법은 mini-ImageNet, CUB, ISIC, ChestX 등 다양한 9종의 데이터셋에서 교차 도메인 설정 하에서 소수 샘플 분류 정확도를 크게 향상시켰다.
• 이 방법은 표준 메타학습 모델과 기존 사전학습/미세조정 기반 베이스라인을 모두 능가하며, 후자의 경우 데이터 증강 기법까지 적용된 경우에도 여전히 승리한다.
• 5-way 1-shot 및 5-shot 태스크에서 이 방법은 최고 성능을 기록했으며, 테스트한 8개의 모든 새로운 도메인에서 일관된 성능 향상을 보였다.
• 절단 실험 결과, 무작위 컨볼루션은 성능 향상에 기여하는 것으로 나타났고, 정규화 항은 도움이 되지 않으며 일반화에 악영향을 줄 수 있었다.
• TPN와 같이 메트릭 기반 모델이 아닌 모델에 적용해도 이 방법이 효과를 보이며, 메트릭 기반 접근 방식을 넘어서 광범위하게 적용 가능함을 입증했다.
• 가장 악성인 최적화 프레임워크는 대상 도메인 데이터 접근 없이도 도전적인 태스크를 성공적으로 생성하여 강건성을 향상시켰다.