[논문 리뷰] Matching Networks for One Shot Learning

Oriol Vinyals, Charles Blundell외 3명|arXiv (Cornell University)|2016. 06. 13.

Multimodal Machine Learning Applications참고 문헌 25인용 수 942

한 줄 요약

매칭 네트워크는 외부 메모리와 주의(attention)을 신경망과 결합하여 새로운 클래스에 대해 미세 조정 없이도 빠른 원샷 학습을 가능하게 한다. 또한 Omniglot과 Mini/ImageNet 작업에서 원샷 최첨단 정확도를 달성하고 원샷 언어 모델링 작업으로 확장한다.

ABSTRACT

Learning from a few examples remains a key challenge in machine learning. Despite recent advances in important domains such as vision and language, the standard supervised deep learning paradigm does not offer a satisfactory solution for learning new concepts rapidly from little data. In this work, we employ ideas from metric learning based on deep neural features and from recent advances that augment neural networks with external memories. Our framework learns a network that maps a small labelled support set and an unlabelled example to its label, obviating the need for fine-tuning to adapt to new class types. We then define one-shot learning problems on vision (using Omniglot, ImageNet) and language tasks. Our algorithm improves one-shot accuracy on ImageNet from 87.6% to 93.2% and from 88.0% to 93.8% on Omniglot compared to competing approaches. We also demonstrate the usefulness of the same model on language modeling by introducing a one-shot task on the Penn Treebank.

연구 동기 및 목표

• 새로운 클래스에 대해 라벨이 달린 예제가 소수 존재하는 원샷 학습 설정의 동기를 제시한다.
• 미세 조정 없이 관찰되지 않은 테스트 예제를 분류하기 위해 소량의 라벨 지원 세트를 사용하는 신경망 아키텍처를 제안한다.
• 비전과 언어 과제에서 원샷 학습을 평가하기 위한 학습 절차와 벤치마크를 정의한다.
• Omniglot, ImageNet, 그리고 Penn Treebank 언어 작업에서 최첨단 원샷 성능을 입증한다.

제안 방법

• 지원 세트 S를 테스트 입력에 대한 분류기 c_S로 매핑하는 Matching Networks를 도입한다. P(y|x,S)를 통해.
• 임베딩 표현 f(x̂)와 g(x_i) 사이의 코사인 유사도를 기반으로 한 어텐션 메커니즘 a(x̂,x_i)를 사용한다.
• 양방향 LSTM을 사용한 완전 조건부 임베딩을 통해 x_i를 전체 지원 세트 S에 조건화하여 임베딩을 맥락 인식으로 만든다 (g(x_i,S)).
• 세트 인코딩된 지원에 대해 attLSTM으로 f(x̂,S)를 계산하여 메모리에 대한 다단 독서를 가능하게 한다.
• 각 에피소드가 레이블 세트 L과 이에 대응하는 지원 S 및 배치 B를 샘플링하는 에피소드형 메타학습으로 학습하고, S에 조건화된 B에 대한 예측을 최적화한다(새로운 클래스에서의 미세 조정은 없음).
• 전체 지원 세트에 임베딩을 조건화하여 성능을 향상시키는 Full Context Embeddings(FCE)를 탐구한다.

실험 결과

연구 질문

• RQ1 신경망 모델이 소량의 라벨이 있는 지원 세트를 활용하여 미지의 클래스를 미세 조정 없이 분류할 수 있는가?
• RQ2 주의 집중(attention) 및 외부 메모리 메커니즘을 시각 및 언어 모달리티 전반에 걸친 원샷 학습에 어떻게 통합할 수 있는가?
• RQ3 에피소드 기반 메타학습으로 학습하는 것이 전통적인 감독 학습에 비해 새로운 라벨 세트에 대한 일반화를 향상시키는가?
• RQ4 ImageNet 같은 대규모 데이터셋과 언어 과제에서 Matching Networks의 한계는 무엇인가?

주요 결과

• Matching Networks는 1-shot Omniglot 평가에서 93.8%의 5-way 정확도를 달성하고(또 다른 설정에서 코사인 유사도 사용 시 98.1%의 1-shot 5-way도 달성).
• mini ImageNet에서 코사인 설정의 1-shot 5-way에서 41.2%, 5-shot 5-way에서 56.2% 정확도이며, Full Context Embeddings(FCE)로 더 향상된다.
• 전체 ImageNet 5-way 1-shot 과제에서 FCE를 가진 Matching Networks는 L_rand에서 93.2%, ≠L_rand에서 97.0%에 도달하고(특정 분할에서 개 변종의 경우 58.8%/96.4%).
• Penn Treebank 언어 원샷 과제에서 간단한 Matching Networks 인코딩은 k=1,2,3에 대해 각각 32.4%, 36.1%, 38.2%의 정확도를 달성했으며(LSTM-LM 오라클에 도달하지는 못한다).
• FCE는 여러 이미지 벤치마크에서 비-FCE 변형에 비해 일관되게 소폭 이득(대략 2 퍼센트 포인트)을 제공한다.