[논문 리뷰] Unsupervised Meta-Learning For Few-Shot Image Classification

Siavash Khodadadeh, Ladislau Bölöni외 1명|arXiv (Cornell University)|2018. 11. 28.

Domain Adaptation and Few-Shot Learning인용 수 65

한 줄 요약

UMTRA는 라벨이 없는 데이터에서 임의 샘플링과 증강을 사용하여 합성 태스크를 구성함으로써 무감독이고 모델에 구애받지 않는 메타러닝을 수행하며, 감독된 MAML보다 훨씬 적은 라벨로 강력한 소샷 성능을 달성합니다.

ABSTRACT

Few-shot or one-shot learning of classifiers requires a significant inductive bias towards the type of task to be learned. One way to acquire this is by meta-learning on tasks similar to the target task. In this paper, we propose UMTRA, an algorithm that performs unsupervised, model-agnostic meta-learning for classification tasks. The meta-learning step of UMTRA is performed on a flat collection of unlabeled images. While we assume that these images can be grouped into a diverse set of classes and are relevant to the target task, no explicit information about the classes or any labels are needed. UMTRA uses random sampling and augmentation to create synthetic training tasks for meta-learning phase. Labels are only needed at the final target task learning step, and they can be as little as one sample per class. On the Omniglot and Mini-Imagenet few-shot learning benchmarks, UMTRA outperforms every tested approach based on unsupervised learning of representations, while alternating for the best performance with the recent CACTUs algorithm. Compared to supervised model-agnostic meta-learning approaches, UMTRA trades off some classification accuracy for a reduction in the required labels of several orders of magnitude.

연구 동기 및 목표

• 라벨이 없는 태스크 데이터로부터의 소샷 학습을 촉진하기 위해 라벨이 없는 데이터셋을 활용합니다.
• 합성 태스크를 생성하는 모델-무관 메타러닝 접근법을 개발합니다.
• 최소한의 최종 태스크 라벨로 원샷 및 소샷 분류를 가능하게 합니다.
• 메타러닝 설정에서 일반화 오차를 검증 손실과 이론적으로 연결짓습니다.

제안 방법

• N개의 라벨이 없는 예시를 샘플링하여 인위적 라벨 1..N으로 구성된 N-웨이 가상의 태스크를 형성합니다.
• 합성 태스크에 대해 그래디언트 강하를 사용하여 내부 루프 업데이트를 수행하고 적응 매개변수를 얻습니다.
• 학습 샘플에 도메인에 적합한 증강 A를 적용하여 검증 세트를 생성하되 증강 샘플이 클래스 정체성을 유지하도록 합니다.
• 적응 매개변수를 사용하여 증강된 검증 세트의 손실을 최소화함으로써 메타매개변수를 업데이트합니다(외부 루프).
• 메타 학습에서 원샷(K=1)을 사용하고, 타깃 태스크(테스트)에서는 K>1을 허용합니다.
• 메타학습 맥락에서 일반화 오차와 역전파된 검증 손실 사이의 관계를 논의합니다.

실험 결과

연구 질문

• RQ1 진짜 라벨 없이 무감독 데이터를 사용하여 빠른 학습 분류기를 메타학습으로 훈련할 수 있는가?
• RQ2 무라벨 데이터로 합성 태스크를 어떻게 구성하여 메타학습을 효과적으로 규제/정규화할 수 있는가?
• RQ3 증강 전략이 무감독 메타학습의 품질에 미치는 영향은 무엇인가?
• RQ4 레이블링 노력 측면에서 무감독 메타학습이 감독된 모델-무관 MAML의 성능에 얼마나 근접할 수 있는가?

주요 결과

• UMTRA는 Omniglot과 Mini-Imagenet에서 무감독 표현 학습 기준선보다 성능이 우수합니다.
• Omniglot 5-way 1-shot의 경우 5개의 라벨로 83.80%를 달성하고, 라벨이 있는 데이터로 학습된 감독된 MAML은 98.7%입니다.
• Omniglot 5-way 5-shot에서 25개의 라벨로 95.43%를 달성하고, 24025개의 라벨을 가진 감독된 MAML은 98.83%입니다.
• Mini-Imagenet에서 UMTRA는 무감독 표현 기준선을 능가하고 일부 설정에서 CACTUs와도 경쟁력을 유지하는 반면, 감독 메타학습은 여전히 정확도에서 더 높습니다.
• UMTRA의 이익의 다수는 증강 만이 아니라 메타학습 과정에서 비롯되며, 증강 여부를 비교한 제거 실험으로 이를 확인할 수 있습니다.