[논문 리뷰] Learning Embedding Adaptation for Few-Shot Learning

Han-Jia Ye, Hexiang Hu외 2명|arXiv (Cornell University)|2018. 12. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 72

한 줄 요약

이 논문은 표준 및 확장된 소수 샘플 학습 벤치마크, 특히 도메인 간, 전도적, 일반화된, 저샘플 학습 설정에서 최신 기술 성능을 달성하는 새로운 소수 샘플 학습 프레임워크인 FEAT를 제안한다. FEAT는 집합 간 Transformer 기반 함수를 사용하여 인스턴스 임베딩을 대상 분류 작업에 적응시켜, 작업별로 특화되고 구분력 있는 표현을 가능하게 한다.

ABSTRACT

Learning with limited data is a key challenge for visual recognition. Many few-shot learning methods address this challenge by learning an instance embedding function from seen classes and apply the function to instances from unseen classes with limited labels. This style of transfer learning is task-agnostic: the embedding function is not learned optimally discriminative with respect to the unseen classes, where discerning among them leads to the target task. In this paper, we propose a novel approach to adapt the instance embeddings to the target classification task with a set-to-set function, yielding embeddings that are task-specific and are discriminative. We empirically investigated various instantiations of such set-to-set functions and observed the Transformer is most effective -- as it naturally satisfies key properties of our desired model. We denote this model as FEAT (few-shot embedding adaptation w/ Transformer) and validate it on both the standard few-shot classification benchmark and four extended few-shot learning settings with essential use cases, i.e., cross-domain, transductive, generalized few-shot learning, and low-shot learning. It archived consistent improvements over baseline models as well as previous methods and established the new state-of-the-art results on two benchmarks.

연구 동기 및 목표

• 소수 샘플 학습에서 작업에 관계없이 적용 가능한 임베딩 함수의 한계를 해결하기 위해, 미리 학습된 인스턴스 임베딩이 새로운 클래스에서의 분류 성능을 최적화하지 못하는 문제를 해결한다.
• 사전에 학습된 인스턴스 임베딩을 특정 대상 분류 작업에 더 구분력 있게 적응시킬 수 있는 방법을 개발한다.
• 임베딩 적응을 위한 효과적인 집합 간 함수를 탐색하고, 이 작업에 가장 적합한 아키텍처를 규명한다.
• 교차 도메인, 전도적, 일반화된, 저샘플 학습을 포함한 표준 및 확장된 소수 샘플 학습 설정에서 제안된 방법을 검증한다.
• 소수 샘플 분류 분야의 벤치마크 데이터셋에서 새로운 최신 기술 성능을 수립한다.

제안 방법

• 이 방법은 지원 샘플 임베딩의 집합을 작업별로 특화되고 구분력 있는 표현으로 변환하는 집합 간 함수를 도입한다.
• 집합 간 함수로 Transformer 아키텍처를 선택한 이유는 임베딩 간의 장거리 의존성과 관계적 인덕티브 바이어스를 모델링할 수 있는 본질적 능력 때문이다.
• 모델은 엔드 투 엔드로 훈련되어, 새로운 클래스의 임베딩가 분류에 더 잘 분리되도록 임베딩 공간을 적응시킨다.
• 적응 과정은 추론 중에 수행되므로, 이 방법은 다양한 소수 샘플 학습 시나리오에 적용 가능하고 유연성이 있다.
• 프레임워크는 표준 소수 샘플 분류와 네 가지 확장된 설정 모두에서 평가되어 강건성과 일반화 능력을 입증한다.
• 최종 모델인 FEAT(Few-shot Embedding Adaptation with Transformer)는 표준 소수 샘플 학습 파이프라인에 임베딩 적응 모듈을 통합한다.

실험 결과

연구 질문

• RQ1 사전에 학습된 인스턴스 임베딩을 효과적으로 적응시켜, 소수 샘플 학습에서 새로운 클래스에서의 구분 능력을 향상시킬 수 있는가?
• RQ2 특히 지원 샘플 간의 관계적 및 맥락 정보를 모델링할 때, 어떤 아키텍처가 집합 간 적응 함수에 가장 효과적인가?
• RQ3 제안된 적응 메커니즘이 교차 도메인, 전도적, 일반화된, 저샘플 학습을 포함한 다양한 소수 샘플 학습 설정으로 일반화되는가?
• RQ4 이 방법은 표준 및 확장된 소수 샘플 벤치마크에서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• FEAT는 평가된 모든 소수 샘플 학습 벤치마크에서 베이스라인 모델 및 이전 최신 기술 방법보다 일관된 성능 향상을 보였다.
• MLP나 RNN과 같은 다른 구현 방식에 비해, Transformer 기반의 집합 간 함수가 구분 능력과 일반화 능력 측면에서 뛰어나다.
• 두 가지 주요 소수 샘플 학습 벤치마크에서 새로운 최신 기술 성능을 확립하여, 표준 및 확장된 설정 모두에서 뛰어난 성능을 입증했다.
• 특히 교차 도메인 및 저샘플 학습과 같은 도전적인 상황에서, 적응 메커니즘이 새로운 클래스의 분류 정확도를 크게 향상시켰다.