[논문 리뷰] Learning to Support: Exploiting Structure Information in Support Sets for One-Shot Learning

Jinchao Liu, Stuart Gibson외 1명|arXiv (Cornell University)|2018. 08. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 21인용 수 4

한 줄 요약

이 논문은 일회 학습(one-shot learning)을 위한 새로운 메타-러닝 기법을 제안하며, 클래스 지원 네트워크와 경쟁적 어텐션 메커니즘을 통해 지원 세트 표현을 향상시켜 동적 프로토타입 선택을 실현한다. 더 깊은 CNN 임bedding과 근사화된 앙상블 방법을 통합함으로써, 특히 저샷(low-shot) 설정에서 mini-ImageNet 및 Omniglot 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Deep Learning shows very good performance when trained on large labeled data sets. The problem of training a deep net on a few or one sample per class requires a different learning approach which can generalize to unseen classes using only a few representatives of these classes. This problem has previously been approached by meta-learning. Here we propose a novel meta-learner which shows state-of-the-art performance on common benchmarks for one/few shot classification. Our model features three novel components: First is a feed-forward embedding that takes random class support samples (after a customary CNN embedding) and transfers them to a better class representation in terms of a classification problem. Second is a novel attention mechanism, inspired by competitive learning, which causes class representatives to compete with each other to become a temporary class prototype with respect to the query point. This mechanism allows switching between representatives depending on the position of the query point. Once a prototype is chosen for each class, the predicated label is computed using a simple attention mechanism over prototypes of all considered classes. The third feature is the ability of our meta-learner to incorporate deeper CNN embedding, enabling larger capacity. Finally, to ease the training procedure and reduce overfitting, we averages the top $t$ models (evaluated on the validation) over the optimization trajectory. We show that this approach can be viewed as an approximation to an ensemble, which saves the factor of $t$ in training and test times and the factor of of $t$ in the storage of the final model.

연구 동기 및 목표

• 제한된 레이블 데이터로 인해 딥 네트워크가 일반적으로 과적합되는 소수의 샘플 학습(few-shot 및 one-shot learning) 문제를 해결하기 위해.
• 소수의 샘플에서 더 나은, 더 구별력 있는 프로토타입을 학습시켜 지원 세트 내 클래스 표현을 향상시키기 위해.
• 이전 방법들이 자주 활용하지 못한 메타-러닝 프레임워크에 더 깊은 CNN 임베딩을 효과적으로 통합하기 위해.
• 효율적인 근사화된 앙상블를 통해 과적합을 줄이고 일반화 성능을 향상시키기 위해.

제안 방법

• 단일 순방향(class support network)은 학습된 변환을 사용해 원시 지원 샘플을 더 잘 대표하는 클래스 임베딩으로 변환한다.
• 경쟁적 어텐션 메커니즘은 쿼리의 위치에 따라 각 클래스별로 프로토타입을 동적으로 선택함으로써 맥락 인식형 프로토타입 선택을 가능하게 한다.
• 쿼리에 대한 최종 클래스 확률을 계산하기 위해 선택된 프로토타입 위에 단순한 어텐션 메커니즘을 사용한다.
• 더 깊은 CNN 임베딩(예: 9층)을 메타-러닝 기반에 통합함으로써 특징 용량을 향상시킨다.
• 검증 성능 기반 상위 t개 모델의 평균을 취해 메타-러너의 근사화된 앙상블를 형성함으로써 과적합과 저장 비용을 줄인다.
• 소수의 샘플 학습 분류 작업을 시뮬레이션하는 에피소드 기반 훈련을 통해 모델을 종합적으로 훈련한다.

실험 결과

연구 질문

• RQ1 소수의 무작위로 샘플된 지원 세트에서 메타-러닝 기법이 효과적으로 더 나은 클래스 대표자(프로토타입)를 학습할 수 있는가?
• RQ2 쿼리 위치에 따라 프로토타입을 동적으로 선택하는 경쟁적 어텐션 메커니즘이 소수의 샘플 학습 분류 성능을 향상시키는가?
• RQ3 깊은 CNN 임베딩이 과적합 없이 메트릭 기반 메타-러닝에 성공적으로 통합될 수 있는가?
• RQ4 근사화된 메타-러닝 기반 앙상블가 과적합을 얼마나 줄이고 일반화 성능을 향상시키는가?

주요 결과

• 제안된 방법은 5-way 1-shot 및 5-way 5-shot mini-ImageNet 벤치마크에서 최신 기준 기법들을 능가하며, 특히 9층의 더 깊은 임베딩을 사용할 경우 성능 향상이 두드러진다.
• 4층의 임베딩을 사용할 경우, Omniglot 및 mini-ImageNet 양쪽에서 Prototypical Nets와 Relation Nets보다 뛰어난 정확도를 달성한다.
• 클래스 지원 임베딩은 저샷 환경에서 가장 큰 성능 향상을 가져오며, 특히 1-shot 학습에서 랜덤으로 선택된 지원 샘플이 클래스를 잘 대표하지 못하는 경우에 두드러진다.
• 근사화된 메타-러닝 앙상블는 조기 정지 기법보다 일관되게 성능 향상을 이끌어내며, 특히 고용량 모델에서 과적합을 줄이는 데 효과적이다.
• SNAIL이 사용하는 13층의 잔차 신경망보다 더 浅(9층)인 CNN을 사용함에도 불구하고, 본 방법은 SNAIL보다 더 뛰어난 성능을 내어, 임베딩 용량을 더 효과적으로 활용하고 있음을 시사한다.