[논문 리뷰] One-Shot Learning using Mixture of Variational Autoencoders: a Generalization Learning approach

Decebal Constantin Mocanu, Elena Mocanu|arXiv (Cornell University)|2018. 04. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 14인용 수 10

한 줄 요약

이 논문은 일반화 능력을 제로 지식과 비라벨 데이터로부터 학습하는 혼합 변분 오토인코더(MoVAE)라는 새로운 일장학습 방법을 제안한다. MNIST, 패션-MNIST, Omniglot에서 최신 기준 성능을 달성하며, 5장 학습 설정에서는 최대 43%의 정확도를 기록했고, 도전적인 1623개 클래스의 1장 학습 분류 과제에서 27.8%의 정확도를 달성했다. 이는 랜덤 추측보다 463배 높은 성능이다.

ABSTRACT

Deep learning, even if it is very successful nowadays, traditionally needs very large amounts of labeled data to perform excellent on the classification task. In an attempt to solve this problem, the one-shot learning paradigm, which makes use of just one labeled sample per class and prior knowledge, becomes increasingly important. In this paper, we propose a new one-shot learning method, dubbed MoVAE (Mixture of Variational AutoEncoders), to perform classification. Complementary to prior studies, MoVAE represents a shift of paradigm in comparison with the usual one-shot learning methods, as it does not use any prior knowledge. Instead, it starts from zero knowledge and one labeled sample per class. Afterward, by using unlabeled data and the generalization learning concept (in a way, more as humans do), it is capable to gradually improve by itself its performance. Even more, if there are no unlabeled data available MoVAE can still perform well in one-shot learning classification. We demonstrate empirically the efficiency of our proposed approach on three datasets, i.e. the handwritten digits (MNIST), fashion products (Fashion-MNIST), and handwritten characters (Omniglot), showing that MoVAE outperforms state-of-the-art one-shot learning algorithms.

연구 동기 및 목표

• 기존 일장학습 방법이 사전 지식이나 방대한 비라벨 데이터에 의존하는 한계를 해결한다.
• 각 클래스당 한 개의 라벨된 샘플과 제로 지식에서 출발하여, 비라벨 데이터를 통해 일반화 능력을 학습하는 방법을 개발한다.
• 다양한 VAE를 활용한 집단지능 접근 방식이 기존 최고 수준의 일장학습 모델을 초월할 수 있음을 입증한다.
• 기존 문헌에 보고되지 않은, 도전적인 벤치마크인 Omniglot에서의 1623개 클래스 분류 과제를 포함한 다양한 복잡한 과제에서 성능을 평가한다.
• 라벨된 데이터가 부족하고 사전 지식이 없는 실세계 응용 분야에서 MoVAE가 실용적인 대안이 될 수 있음을 확립한다.

제안 방법

• MoVAE는 각 클래스별로 특화된 변분 오토인코더(VAE)의 혼합이며, 각 VAE는 단일 라벨된 샘플에서 한 클래스의 잠재 분포를 학습한다.
• 모델은 일반화 학습을 활용하며, 사전 지식이 필요 없이 비라벨 데이터를 이용해 점진적으로 성능을 향상시킨다.
• 분류 작업은 각 클래스별로 특화된 VAE에서 테스트 샘플의 우도를 계산하고, 가장 높은 점수를 가진 클래스를 선택함으로써 수행된다.
• 이 방법은 메트릭 학습, 시앙세이 네트워크 또는 메모리 증강 네트워크를 사용하지 않으며, 기존 일장학습 접근 방식과 근본적으로 다릅니다.
• 각 VAE의 변분 하한(ELBO) 목적함수를 기반으로 확률적 경사 하강법을 사용해 엔드 투 엔드로 학습된다.
• 비라벨 데이터가 전혀 없을 경우에도 강건하게 작동하며, 각 클래스당 단일 라벨된 샘플과 VAE의 생성 모델링 능력에 의존한다.

실험 결과

연구 질문

• RQ1 사전 지식이나 대규모 사전 훈련에 의존하지 않고도 높은 성능을 내는 일장학습 모델이 가능한가?
• RQ2 여러 VAE를 활용한 집단지능 접근 방식이 각 클래스당 한 개의 라벨된 예시에서 일반화 능력을 효과적으로 학습할 수 있는가?
• RQ3 MoVAE는 Omniglot에서의 매우 복잡한 1623개 클래스 분류 과제에서 어떤 성능을 보이는가?
• RQ4 비라벨 데이터가 없는 저자료 환경에서 MoVAE는 kNN 및 기타 최고 수준의 방법과 비교해 어떻게 성능을 내는가?
• RQ5 패션 제품 분류와 같은 실세계 시나리오에서 최소한의 감독 하에 MoVAE는 효과적으로 일반화할 수 있는가?

주요 결과

• MoVAE는 1장 학습 설정에서 MNIST 벤치마크에서 72.1%의 정확도를 기록하여 최신 기준 방법보다 25个百分点 이상 뛰어났다.
• 더 복잡한 패션-MNIST 데이터셋에서 MoVAE는 각 클래스당 단일 라벨된 샘플만으로도 60% 이상의 정확도를 달성하여 실세계 환경에서 강력한 일반화 능력을 입증했다.
• Omniglot에서 새로운 1623개 클래스 1장 학습 분류 과제에서 MoVAE는 27.8%의 정확도를 기록했다. 이는 랜덤 추측(0.06%)보다 463배 높고, kNN보다 9배 높은 성능이다.
• Omniglot에서 5장 학습 설정으로 전환했을 때 MoVAE의 정확도는 43.2%로 상승하여 제한된 라벨된 데이터에서의 뛰어난 확장성(스케일러빌리티)을 보였다.
• 모든 설정에서 kNN보다 MoVAE가 뚜렷하게 뛰어난 성능을 보였으며, 특히 kNN가 단지 3.1%의 정확도를 기록한 1623개 클래스 과제에서도 뛰어났다.
• 모델은 계산적으로 효율적이었으며, 표준 GPU에서 전체 1623개 클래스의 Omniglot 과제를 약 4시간 내에 학습했고, 추론 시간에서도 kNN보다 빠르게 동작했다.