[논문 리뷰] Transductive Episodic-Wise Adaptive Metric for Few-Shot Learning

Limeng Qiao, Yemin Shi외 4명|arXiv (Cornell University)|2019. 10. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 38

한 줄 요약

TEAM은 각 소샷(task) 작업에 대해 태스크-특정 에피소드-별 메트릭을 형성화(semi-definite programming) 문제로 구성하고 전이적 추론을 사용하여 적응함으로써 양방향 유사도 전략으로 소샷 분류를 개선한다.

ABSTRACT

Few-shot learning, which aims at extracting new concepts rapidly from extremely few examples of novel classes, has been featured into the meta-learning paradigm recently. Yet, the key challenge of how to learn a generalizable classifier with the capability of adapting to specific tasks with severely limited data still remains in this domain. To this end, we propose a Transductive Episodic-wise Adaptive Metric (TEAM) framework for few-shot learning, by integrating the meta-learning paradigm with both deep metric learning and transductive inference. With exploring the pairwise constraints and regularization prior within each task, we explicitly formulate the adaptation procedure into a standard semi-definite programming problem. By solving the problem with its closed-form solution on the fly with the setup of transduction, our approach efficiently tailors an episodic-wise metric for each task to adapt all features from a shared task-agnostic embedding space into a more discriminative task-specific metric space. Moreover, we further leverage an attention-based bi-directional similarity strategy for extracting the more robust relationship between queries and prototypes. Extensive experiments on three benchmark datasets show that our framework is superior to other existing approaches and achieves the state-of-the-art performance in the few-shot literature.

연구 동기 및 목표

• 데이터가 매우 희소한 소샷 학습(Task)에서 일반화 가능한 분류기를 학습하는 도전 과제를 동기부여한다.
• 전이적 추론을 활용하여 태스크별 에피소드-별 메트릭을 조정하는 메타 학습 프레임워크(TEAM)를 제안한다.
• 태스크-특정 메트릭 학습을 위한 해결 가능한 SDP 형태로 쌍 제약 및 규제 사전 정보를 통합한다.
• 쿼리와 프로토타입 간의 주의 기반 양방향 유사성 및 태스크 차원의 데이터 증가 기법으로 강건성을 향상시킨다.

제안 방법

• 입력을 소수-shot 태스크 풀에서 학습된 태스크 비의존 특성 추출기로 임베딩한다.
• 쌍 제약 손실과 규제 항을 갖는 볼록 최적화(SDP)로 태스크별 메트릭 적합화를 형식화한다.
• 닫힌 형태 해인 M_t^* = (M_0^{-1} + γ M̃ − γ λ Ĉ)^{-1}를 도출하고 공분산 항 Σ_t를 추가하여 M_t^†를 얻는다.
• 쿼리-프로토타입 및 프로토타입-쿼리 유사성을 모두 계산하고 이를 곱으로 결합하는 Bi-SIM 전략을 도입한다.
• 태스크 내부 혼합(Task Internal Mixing, TIM)을 적용하여 태스크 내 샘플을 볼록 결합하여 증가된 태스크를 합성한다.
• 성능 향상을 위해 테스트 중에 전이적 BN 또는 명시적 전이(transduction)를 선택적으로 활용한다.

실험 결과

연구 질문

• RQ1 각 소샷 태스크에 공유 태스크 비의존 메트릭을 사용하는 대신 디스크리미네이터 메트릭을 태스크별로 맞춤화할 수 있는가?
• RQ2 전이적 추론이 지원 집합과 질의 집합을 함께 활용하여 소샷 분류 성능을 향상시킬 수 있는가?
• RQ3 적응을 풀이 가능한 SDP로 형식화하는 것이 Heavy gradient 업데이트 없이도 실시간으로 태스크-특정 메트릭 학습을 가능하게 하는가?
• RQ4 양방향 유사성 메커니즘이 극도로 제한된 데이터 하에서 질의-레이블 예측의 강건성을 향상시키는가?

주요 결과

• TEAM은 5-way 1-shot 및 5-shot 설정에서 miniImageNet, CIFAR-100, CUB의 세 벤치마크에서 최첨단 또는 경쟁력 있는 성능을 달성한다.
• ConvNet 백본을 사용하는 miniImageNet에서 TEAM은 기반선 대비 5-way 1-shot과 5-way 5-shot 정확도를 각각 상당한 여유로 향상시킨다(예: 4.89% 포인트 및 3.33% 포인트).
• miniImageNet에서 공개된 최첨단 방법들과 비교할 때 TEAM은 1-shot에서 1.06%, 5-shot에서 2.18%의 절대적 향상을 제공한다(논문에 보고된 수치).
• 전이(transduction)를 포함한 TEAM은 CIFAR-100과 CUB에서 5-way 1-shot 및 5-shot 태스크에서 주목할 만한 이득을 보이며, 백본 간 일관된 개선을 비전이적 기반선 대비 보인다.