[논문 리뷰] TransMatch: A Transfer-Learning Scheme for Semi-Supervised Few-Shot Learning

Zhongjie Yu, Lin Chen외 2명|arXiv (Cornell University)|2019. 12. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 7

한 줄 요약

이 논문은 기반 클래스의 레이블이 있는 데이터와 새로운 클래스의 레이블이 없는 데이터를 활용하여 소수의 샘플로 분류 성능을 향상시키는 새로운 전이 학습 프레임워크인 TransMatch를 제안한다. 기반 클래스에서 특징 추출기를 사전 훈련하고, Imprinting를 통해 분류기 초기화를 수행하며, MixMatch를 통해 미세조정함으로써 CUB-200-2011과 miniImageNet에서 기존 방법들보다 뚜렷한 격차로 최신 기술 성능을 달성한다.

ABSTRACT

The successful application of deep learning to many visual recognition tasks relies heavily on the availability of a large amount of labeled data which is usually expensive to obtain. The few-shot learning problem has attracted increasing attention from researchers for building a robust model upon only a few labeled samples. Most existing works tackle this problem under the meta-learning framework by mimicking the few-shot learning task with an episodic training strategy. In this paper, we propose a new transfer-learning framework for semi-supervised few-shot learning to fully utilize the auxiliary information from labeled base-class data and unlabeled novel-class data. The framework consists of three components: 1) pre-training a feature extractor on base-class data; 2) using the feature extractor to initialize the classifier weights for the novel classes; and 3) further updating the model with a semi-supervised learning method. Under the proposed framework, we develop a novel method for semi-supervised few-shot learning called TransMatch by instantiating the three components with Imprinting and MixMatch. Extensive experiments on two popular benchmark datasets for few-shot learning, CUB-200-2011 and miniImageNet, demonstrate that our proposed method can effectively utilize the auxiliary information from labeled base-class data and unlabeled novel-class data to significantly improve the accuracy of few-shot learning task.

연구 동기 및 목표

• 소수의 레이블 데이터 문제를 해결하기 위해 레이블이 있는 기반 클래스 데이터와 레이블이 없는 새로운 클래스 데이터에서 보조 정보를 활용한다.
• 기존 메타학습 접근 방식과는 다름없는 새로운 전이 학습 기반의 반감독 소수 샘플 학습 프레임워크를 제안한다.
• 최신 반감독 학습 기법을 전이 학습과 융합하여 소수 샘플 분류 성능을 향상시킨다.
• 기반 클래스에서의 사전 훈련과 레이블이 없는 새로운 클래스 데이터를 활용한 자기지도 학습 보완 전략의 융합 효과를 입증한다.

제안 방법

• 기반 클래스의 대규모 데이터셋에서 특징 추출기를 사전 훈련하여 일반적인 시각적 표현을 인코딩한다.
• 사전 훈련된 특징 추출기를 사용해 새로운 클래스의 소수 샘플 레이블 데이터의 임bedding을 생성하고, 이를 Imprinting 기법을 통해 분류기 가중치를 초기화하는 데 활용한다.
• 레이블이 없는 새로운 클래스 데이터를 통합하기 위해, 최신 반감독 학습 방법인 MixMatch를 사용해 초기화된 분류기를 미세조정한다.
• 두 단계 훈련 프로세스를 적용한다: 먼저 레이블이 없는 데이터 없이 기반 클래스에서 사전 훈련하고, 이후 레이블이 없는 새로운 클래스 데이터와 함께 공동으로 미세조정한다.
• 256차원의 L2 정규화된 특징 임베딩을 사용하고, 공정한 비교를 위해 표준 데이터 증강 및 훈련 프로토콜을 따르며, 이를 준수한다.
• MixMatch의 일관성 정규화 및 가짜 레이블 전략을 통합하여, 미세조정 중 레이블이 없는 예측에 대한 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 기반 클래스에서의 사전 훈련과 새로운 클래스에서의 반감독 학습을 융합한 전이 학습 프레임워크가 기존 메타학습 기반의 소수 샘플 방법을 능가할 수 있는가?
• RQ2 사전 훈련된 기반 클래스 모델의 지식과 함께, 새로운 클래스의 레이블이 없는 데이터가 소수 샘플 분류 정확도 향상에 얼마나 효과적으로 기여하는가?
• RQ3 전이 학습 파이프라인 내에서 Imprinting와 MixMatch를 융합하면 저샷 환경에서 더 높은 강건성과 정확도를 달성할 수 있는가?
• RQ4 새로운 클래스에서의 레이블이 없는 예제 수가 증가함에 따라 제안된 방법의 성능은 어떻게 변화하는가?

주요 결과

• miniImageNet 데이터셋에서 TransMatch는 20샷 설정에서 74.61%의 정확도를 기록했으며, 이는 이전 최신 기술 방법(Imprinting+FT)보다 4.54%p 높은 성능이다.
• CUB-200-2011에서 TransMatch는 20샷 설정에서 74.61%의 정확도를 달성했으며, MixMatch(73.00%)와 Imprinting+FT(70.07%)를 크게 앞서며 성능을 뛰어넘었다.
• 클래스당 20개의 레이블이 없는 예제를 사용할 경우, TransMatch는 10샷 설정에서 miniImageNet에서 68.60%의 정확도를 기록했으며, 이는 제한된 지도 신호 조건에서도 뛰어난 성능을 보였다.
• 1샷 설정에서 TransMatch는 CUB-200-2011에서 28.02%의 정확도를 기록했으며, Imprinting(26.08%)와 MixMatch(22.93%)를 모두 앞서며 극도로 낮은 샘플 수 환경에서도 강건성을 입증했다.
• 레이블이 없는 데이터가 많을수록 성능이 지속적으로 향상된다: CUB-200-2011에서 5샷 설정에서 레이블이 없는 데이터 수가 5개일 경우 52.90%에서 20개일 경우 59.25%로 상승했다.
• TransMatch는 관련 없는 클래스의 레이블이 없는 데이터가 포함된 환경에서도 뛰어난 성능 유지를 보였으며, MixMatch와 Imprinting를 모두 능가했다.