[논문 리뷰] Learning to Self-Train for Semi-Supervised Few-Shot Classification

Xinzhe Li, Qianru Sun외 5명|arXiv (Cornell University)|2019. 06. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 84

한 줄 요약

본 논문은 Learning to Self-Train (LST)를 소개한다. 이는 few-shot 작업에서 미라벨이 없는 데이터를 자체 라벨링하고, 신뢰도 있는 의사 라벨을 선택하고 가중치를 부여하기 위해 소프트 가중 네트워크를 사용하는 준지도 학습 메타학습 접근법이다.

ABSTRACT

Few-shot classification (FSC) is challenging due to the scarcity of labeled training data (e.g. only one labeled data point per class). Meta-learning has shown to achieve promising results by learning to initialize a classification model for FSC. In this paper we propose a novel semi-supervised meta-learning method called learning to self-train (LST) that leverages unlabeled data and specifically meta-learns how to cherry-pick and label such unsupervised data to further improve performance. To this end, we train the LST model through a large number of semi-supervised few-shot tasks. On each task, we train a few-shot model to predict pseudo labels for unlabeled data, and then iterate the self-training steps on labeled and pseudo-labeled data with each step followed by fine-tuning. We additionally learn a soft weighting network (SWN) to optimize the self-training weights of pseudo labels so that better ones can contribute more to gradient descent optimization. We evaluate our LST method on two ImageNet benchmarks for semi-supervised few-shot classification and achieve large improvements over the state-of-the-art method. Code is at https://github.com/xinzheli1217/learning-to-self-train.

연구 동기 및 목표

• 라벨 데이터가 드문 상황에서 unlabeled 데이터를 활용하기 위해 소수-shot 분류를 위한 준지도 학습(SSFSC)을 고무한다.
• 메타학습에 자기 학습을 통합하여 새로운 소수-shot 작업에 빠르게 적응한다.
• 각 단계 후에 라벨링된 데이터를 재학습시키고 의사 라벨에 소프트 가중치를 학습하여 라벨 노이즈 드리프트를 완화한다.
• LST가 miniImageNet 및 tieredImageNet 벤치마크에서 최첨단 결과를 얻는 것을 보여준다.

제안 방법

• 메타 학습된 초기화에서 시작하는 태스크에 대해 내부 루프 자기 학습 프로세스를 활용한다.
• 지원 세트로 학습된 태스크 특정 분류기를 사용하여 미라벨 데이터에 대한 의사 라벨을 생성한다.
• 의사 라벨 샘플의 부분집합을 하드 선택하고 메타 학습된 Soft Weighting Network(SWN)를 통해 소프트 가중치를 부여한다.
• 가중치가 부여된 의사 라벨 데이터와 라벨링된 지지 데이터로 모델을 재학습한 뒤, 라벨링된 데이터만으로 미세 조정 단계를 수행한다.
• 향후 자기 학습 단계를 개선하기 위해 외부 루프 검증 손실을 통해 SWN과 기본 학습기의 초기화를 메타 최적화한다.

실험 결과

연구 질문

• RQ1 의사 라벨을 이용한 자기 학습이 준지도 소수-shot 분류의 성능을 향상시킬 수 있는가?
• RQ2 메타학습 프레임워크 내에서 반복적 자기 학습에서 노이즈 의사 라벨로 인한 드리프트를 어떻게 완화할 수 있는가?
• RQ3 의사 라벨의 가중 메커니즘(SWN)을 메타학습하는 것이 의사 라벨의 엄선을 개선하고 새로운 작업에 대한 전반적인 적응을 향상시키는가?
• RQ4 잡치 데이터가 포함된 무라벨 데이터 하에서 재귀적/자기 학습 단계를 수행하는 이점과 한계는 무엇인가?

주요 결과

• LST는 miniImageNet에서 최상위 결과를 달성한다(1-shot: 70.1%, 5-shot: 78.7%). tieredImageNet에서(1-shot: 77.7%, 5-shot: 85.2%).
• 메타학습 기반 기준(MTL)과 비교하여 LST는 miniImageNet에서 8.9%(1-shot) 및 3.2%(5-shot) 향상시킨다.
• tieredImageNet에서 LST는 12.1%(1-shot) 및 6.6%(5-shot) 향상된다.
• 의사 라벨의 하드 선택은 일반적으로 성능을 향상시키며, 하드 선택과 소프트 가중(SWN)의 결합은 추가적인 이득을 준다.
• 재귀적 자기 학습은 특히 SWN 및 하드 선택과 결합될 때 성능을 향상시킬 수 있지만, 방해가 되는 무라벨 데이터가 일부 설정에서 이득을 해칠 수 있다.