[논문 리뷰] Contrastive Prototype Learning with Augmented Embeddings for Few-Shot Learning

Yizhao Gao, Nanyi Fei외 4명|arXiv (Cornell University)|2021. 01. 23.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 증강된 임bedding(AE)과 지원셋 프로토타입 중심의 대비 손실을 결합함으로써 특징 학습을 향상시키는 새로운 소수의 학습(few-shot learning) 프레임워크인 대비 프로토타입 학습과 증강된 임베딩(CPLAE)을 제안한다. 각 클래스의 프로토타입을 앵커로 사용하고, 각 샘플의 다중 증강된 시각을 통합함으로써 CPLAE는 임베딩 품질을 향상시키고, 표준 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Most recent few-shot learning (FSL) methods are based on meta-learning with episodic training. In each meta-training episode, a discriminative feature embedding and/or classifier are first constructed from a support set in an inner loop, and then evaluated in an outer loop using a query set for model updating. This query set sample centered learning objective is however intrinsically limited in addressing the lack of training data problem in the support set. In this paper, a novel contrastive prototype learning with augmented embeddings (CPLAE) model is proposed to overcome this limitation. First, data augmentations are introduced to both the support and query sets with each sample now being represented as an augmented embedding (AE) composed of concatenated embeddings of both the original and augmented versions. Second, a novel support set class prototype centered contrastive loss is proposed for contrastive prototype learning (CPL). With a class prototype as an anchor, CPL aims to pull the query samples of the same class closer and those of different classes further away. This support set sample centered loss is highly complementary to the existing query centered loss, fully exploiting the limited training data in each episode. Extensive experiments on several benchmarks demonstrate that our proposed CPLAE achieves new state-of-the-art.

연구 동기 및 목표

• 질의 중심 손실에 기반한 메타학습 방법이 부족한 지원셋 샘플을 완전히 활용하지 못하는 소수의 학습(FSL)의 근본적 한계를 해결한다.
• 질의 샘플이 아닌 클래스 프로토타입을 중심으로 한 새로운 학습 목표를 도입하여 지원셋의 데이터 부족 문제를 해결한다.
• 원본 및 증강된 특징 표현을 조합한 증강된 임베딩(AE)을 구성함으로써 특징 일반화를 향상시킨다.
• 프로토타입을 앵커로, 질의 샘플을 양성/음성으로 사용하는 새로운 감독 대비 손실을 통해 소수의 학습에 대비 학습을 통합한다.
• 질의 중심 손실과 지원셋 프로토타입 중심 손실을 조합함으로써 더 나은 클래스 간 분리와 향상된 소수의 일반화 성능을 확보한다.

제안 방법

• 원본 이미지와 그의 세 가지 데이터 증강 버전(예: 수평 반전, 수직 반전, 회전)의 특징 임베딩을 연결하여 증강된 임베딩(AE)을 구성한다.
• 대비 학습을 위한 잠재 공간으로의 매핑을 위해 프로젝션 헤드를 사용하여 표현 품질을 향상시킨다.
• 각 클래스 프로토타입이 앵커가 되고, 동일 클래스의 질의 샘플이 양성, 나머지 샘플이 음성으로 간주되는 새로운 대비 프로토타입 학습(CPL) 손실을 설계한다.
• 제안된 CPL 손실을 표준 질의 중심 손실(예: ProtoNets에서의 손실)과 결합하여 다목적 학습 기반으로 양쪽 목표를 동시에 최적화한다.
• 대비 학습 목표의 강건성을 향상시키기 위해 훈련 중에 임베딩 순서를 무작위로 섞는 전략을 적용한다.
• 에피소드 기반 메타학습으로 모델을 훈련하며, 각 에피소드는 $n$개의 소수의 학습 클래스와 클래스당 $k$개의 지원 샘플을 포함하고, 최종 평가는 질의 세트에서 수행된다.

실험 결과

연구 질문

• RQ1 제한된 지원셋 데이터를 더 효과적으로 활용함으로써, 프로토타입 중심의 대비 손실이 소수의 학습 성능을 향상시킬 수 있는가?
• RQ2 다양한 데이터 증강에서 유도된 증강된 임베딩(AE)의 통합이 FSL에서 특징 표현과 모델 일반화에 어떤 영향을 미치는가?
• RQ3 프로토타입 중심의 대비 손실과 질의 중심 손실을 조합하면, 각각을 별도로 사용할 때보다 더 나은 클러스터링 및 분류 성능을 달성하는가?
• RQ4 제안된 대비 학습 목표에서 프로젝션 헤드와 무작위 섞기 전략이 기여하는 바는 무엇인가?
• RQ5 제안된 CPLAE 프레임워크는 다양한 소수의 학습 벤치마크와 데이터 증강 전략에 대해 효과적인가?

주요 결과

• CPLAE는 miniImageNet, tieredImageNet, CIFAR-FS와 같은 세 가지 표준 소수의 학습 벤치마크에서 새로운 최신 기술 수준 성능을 달성한다.
• 제안된 대비 프로토타입 학습(CPL) 손실은 사전 작업 예측 및 비지도 대비 학습과 같은 대안적 대비 및 자기지도 학습 손실보다 유의미하게 뛰어난 성능을 보인다.
• 증강된 임베딩(AE)의 사용은 UMAP 시각화에서 더 명확한 데이터 분포를 보여주며, 특징 클러스터링과 일반화를 향상시킨다.
• 대비 손실에서 프로토타입 기반 앵커와 프로젝션 헤드의 조합이 더 나은 내부 클래스의 응집성과 외부 클래스의 분리도를 이룬다.
• 훈련 중에 임베딩 순서를 섞는 것이 효과적인 대비 학습을 위해 필수적이며, 섞지 않은 모델은 성능이 열 劣하다.
• 시각화 결과는 증강된 임베딩 공간이 가장 명확한 클러스터링 구조를 달성하여, 증강된 시각 간 암묵적 정렬의 효과성을 입증한다.