[논문 리뷰] Interventional Few-Shot Learning

Zhongqi Yue, Hanwang Zhang외 2명|arXiv (Cornell University)|2020. 09. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 77인용 수 94

한 줄 요약

IFSL은 사전 학습 지식을 퍼샷 학습의 혼란 변수로 간주하고 백도어 조정을 사용하여 개입을 수행하며, mini ImageNet, tiered ImageNet 및 교차 도메인 CUB에서 1샷 및 5샷에서 최첨단 성과를 달성한다.

ABSTRACT

We uncover an ever-overlooked deficiency in the prevailing Few-Shot Learning (FSL) methods: the pre-trained knowledge is indeed a confounder that limits the performance. This finding is rooted from our causal assumption: a Structural Causal Model (SCM) for the causalities among the pre-trained knowledge, sample features, and labels. Thanks to it, we propose a novel FSL paradigm: Interventional Few-Shot Learning (IFSL). Specifically, we develop three effective IFSL algorithmic implementations based on the backdoor adjustment, which is essentially a causal intervention towards the SCM of many-shot learning: the upper-bound of FSL in a causal view. It is worth noting that the contribution of IFSL is orthogonal to existing fine-tuning and meta-learning based FSL methods, hence IFSL can improve all of them, achieving a new 1-/5-shot state-of-the-art on extit{mini}ImageNet, extit{tiered}ImageNet, and cross-domain CUB. Code is released at https://github.com/yue-zhongqi/ifsl.

연구 동기 및 목표

• FSL에서 사전 학습이 혼란 변수로 작용하는 결함을 식별하고 정형화한다.
• 개입을 정당화하기 위한 FSL용 인과 프레임워크(SCM)를 제안한다.
• 백도어 조정에 기반한 세 가지 실용적인 IFSL 구현을 개발한다.
• IFSL이 기존의 파인튜닝 및 메타러닝 FSL 방법과 직교하며 성능을 향상시킨다는 것을 보여준다.
• 표준 벤치마크에서 1-/5샷 성능이 향상되었다는 실험적 근거를 제공하고, 지원(set)과 질의(set) 간 유사도에 따른 성능을 분석한다.

제안 방법

• 사전 학습된 지식, 샘플 특징 및 레이블 간의 인과 관계를 나타내는 구조적 인과 모델(SCM)을 형식화한다.
• 인과적 개입으로 P(Y|do(X))를 추정하기 위해 백도어 조정을 적용한다.
• 세 가지 실용적인 IFSL 구현을 제시한다: 특징별 조정, 클래스별 조정, 그리고 결합 조정.
• 효율성을 위해 NWGM(Normalized Weighted Geometric Mean)을 활용해 클래스별 성분을 근사한다.
• IFSL이 핵심 학습 목표를 바꾸지 않고 기존 FSL 베이스라인에 플러그인될 수 있도록 보장한다.
• 백본과 분류기 전반에 걸친 정확한 구현을 위해 부록에서 알고리즘 세부사항과 방정식을 제공한다.

실험 결과

연구 질문

• RQ1 사전 학습된 지식이 퍼샷 학습에서 혼란 변수로 작용해 P(Y|X)가 실제 인과 효과에서 벗어나게 편향시킬 수 있는가?
• RQ2 적은 샷 데이터 없이도 FSL에서 P(Y|do(X))를 근사하도록 백도어 조정을 어떻게 실용적으로 구현할 수 있는가?
• RQ3 특징별, 클래스별, 또는 결합 조정이 FSL 성능을 향상시키며, 이러한 개선이 파인튜닝 및 메타러닝 방법과 직교한가?
• RQ4 표준 벤치마크(mini ImageNet, tiered ImageNet) 및 교차 도메인 작업(CUB)에서 1샷 및 5샷 설정에 대한 IFSL의 실증적 향상은 무엇인가?
• RQ5 IFSL이 모델 주의(attention; CAM-Acc)와 질의 난이도에 따른 강건성에 어떻게 영향을 주는가?

주요 결과

• IFSL은 파인튜닝 및 메타러닝 베이스라인 모두에 적용되었을 때 1샷/5샷 설정에서 일관된 정확도 향상을 제공합니다.
• IFSL은 1샷 및 5샷 시나리오에서 mini ImageNet 및 tiered ImageNet에서 새로운 최첨단 성과를 달성합니다.
• IFSL은 선형 분류기 대비 크로스 도메인 일반화(CUB로의 Mini ImageNet)에서 개선을 제공하며, 유도적 및 추정적 베이스라인 모두에 유익합니다.
• 향상은 1샷 설정에서 더 크며, 샘플이 적을수록 혼란 편향에 더 취약함을 시사합니다.
• CAM-Acc 시각화를 통해 실제 객체에 대한 주의가 향상되며, 혼동된 단서가 아니라 올바른 시각적 의미에 의존한다는 것을 시사합니다.
• IFSL은 기존 FSL 방법과 직교하며, 핵심 학습 절차를 변경하지 않고도 베이스라인을 향상시킵니다.
• S(지원)와 Q(질의) 간의 유사도에 따라 달라지는 모든 영역에서, 더 어려운 질의 샘플을 포함해 모든 경우에서 IFSL의 성능이 향상됩니다.