[논문 리뷰] Few-Shot Learning via Embedding Adaptation with Set-to-Set Functions

Han-Jia Ye, Hexiang Hu외 2명|arXiv (Cornell University)|2018. 12. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 63인용 수 81

한 줄 요약

이 논문은 세트-투-세트 함수로 Few-shot 학습을 위한 태스크-특정 임베딩 적응을 제안하며, Transformer 기반 FEAT를 최종 모델로 사용하여 여러 벤치마크와 확장 설정에서 최첨단 결과를 달성한다.

ABSTRACT

Learning with limited data is a key challenge for visual recognition. Many few-shot learning methods address this challenge by learning an instance embedding function from seen classes and apply the function to instances from unseen classes with limited labels. This style of transfer learning is task-agnostic: the embedding function is not learned optimally discriminative with respect to the unseen classes, where discerning among them leads to the target task. In this paper, we propose a novel approach to adapt the instance embeddings to the target classification task with a set-to-set function, yielding embeddings that are task-specific and are discriminative. We empirically investigated various instantiations of such set-to-set functions and observed the Transformer is most effective -- as it naturally satisfies key properties of our desired model. We denote this model as FEAT (few-shot embedding adaptation w/ Transformer) and validate it on both the standard few-shot classification benchmark and four extended few-shot learning settings with essential use cases, i.e., cross-domain, transductive, generalized few-shot learning, and low-shot learning. It archived consistent improvements over baseline models as well as previous methods and established the new state-of-the-art results on two benchmarks.

연구 동기 및 목표

• 태스크-전용 임베딩이 없는 태스크에서 보이지 않는 태스크가 다른 판별 특성을 요구한다는 제한점을 지적한다.
• 타겟 태스크마다 임베딩을 맞춤화하기 위한 세트-투-세트 함수 기반의 모델 기반 임베딩 적응을 제안한다.
• Transformer 기반 적응(FEAT)이 표준 및 확장 FSL 설정에서 다른 구현 및 베이스라인보다 우수하다는 것을 보인다.
• 태스크 간 보간/외삽 분석을 제공하고 FEAT의 매개변수 효율성을 입증한다.

제안 방법

• 모든 학습 인스턴스에 대해 원시 임베딩 phi_x로부터 적응된 임베딩 psi_x를 출력하는 세트-투-세트 변환 T를 도입한다(순서에 불변).
• 다수의 아키텍처(Bi-LSTM, DeepSets, GCN, Transformer)로 T를 구현하고 태스크 적응 효과를 비교한다.
• 적응된 임베딩 psi_x와 테스트 임베딩 phi_x를 이용해 Few-shot 태스크에서 최근접 이웃 분류를 수행한다.
• 대조적 목적을 적용하여 적응 임베딩과 클래스 중심을 정렬하고, 클래스 간 분리를 유지하면서 클래스 내 응집도를 높인다.
• 보이는 클래스에 대한 추가 분류 단계가 포함된 백본을 사전학습하고, 합성된 N-shot 태스크에 대한 메타학습으로 미세조정한다.
• FEAT(Transformer 기반 T)를 Mini/ImageNet 및 Tiered ImageNet에서 베이스라인과 비교 평가하며, 교차 도메인, 전이적 및 일반화된 FSL 설정을 포함하여 평가한다.

실험 결과

연구 질문

• RQ1 태스크-특정 임베딩 적응이 태스크-무관 임베딩보다 Few-shot 학습 성능을 향상시킬 수 있는가?
• RQ2 주어진 대상 태스크에 맞춰 임베딩을 맥락화하는 가장 효과적인 세트-투-세트 구현은 무엇인가?
• RQ3 Transformer 기반 적응이 다른 방법에 비해 우수한 성능, 순열 불변성, 보간/외삽 능력을 제공하는가?
• RQ4 Cross-domain 일반화, 전이적 FSL, 일반화된 FSL과 같은 확장 FSL 설정에서 FEAT의 성능은 어떠한가?
• RQ5 적응 메커니즘이 매개변수 효율성을 유지하면서도 강력한 실증적 이득을 제공하는가?

주요 결과

• FEAT(Transformer 기반 세트-투-세트 적응)는 표준 FSL 벤치마크에서 ProtoNet 및 다른 임베딩 적응 변형들보다 일관되게 향상된다.
• FEAT는 Mini ImageNet에서 최첨단 결과를 달성하고 ResNet 백본 하에서 Tiered ImageNet에서도 강력하고 일관된 이득을 보인다.
• 구현들 중에서 BiLSTM은 순열 불변성이 부족하여 종종 성능이 떨어지며, DeepSets 및 GCN도 도움이 되지만 FEAT만큼 일관되게 효과적이지 않다.
• FEAT는 서로 다른 클래스 수(ways)에서 강한 보간 및 외삽 능력을 보여주고 매개변수 효율성을 유지한다.
• 확장 태스크에서 FEAT는 Few-shot 도메인 일반화, 전이 FSL, 일반화 FSL 설정에서 베이스라인을 능가한다.