[논문 리뷰] TapNet: Neural Network Augmented with Task-Adaptive Projection for Few-Shot Learning

S.W. Yoon, Jun Seo외 1명|arXiv (Cornell University)|2019. 05. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 22인용 수 123

한 줄 요약

TapNet은 임베딩 네트워크와 클래스별 참조 벡터를 학습하는 동시에 에피소드마다 태스크-특정 프로젝션 공간을 구성하여 Omniglot, miniImageNet, tieredImageNet에서 최첨단의 소수 샷 분류 성능을 달성합니다.

ABSTRACT

Handling previously unseen tasks after given only a few training examples continues to be a tough challenge in machine learning. We propose TapNets, neural networks augmented with task-adaptive projection for improved few-shot learning. Here, employing a meta-learning strategy with episode-based training, a network and a set of per-class reference vectors are learned across widely varying tasks. At the same time, for every episode, features in the embedding space are linearly projected into a new space as a form of quick task-specific conditioning. The training loss is obtained based on a distance metric between the query and the reference vectors in the projection space. Excellent generalization results in this way. When tested on the Omniglot, miniImageNet and tieredImageNet datasets, we obtain state of the art classification accuracies under various few-shot scenarios.

연구 동기 및 목표

• 낮은 라벨 데이터로 보지 못한 태스크에 대한 빠른 적응을 가능하게 하여 소수 샷 학습의 동기를 부여하고 문제를 해결합니다.
• 임베딩, 클래스별 참조, 태스크-특정 프로젝션 공간을 jointly 학습하는 메타러닝 프레임워크를 제안합니다.
• 에피소드별로 임베딩을 클래스 참조와 일치시키는 선형 프로젝션에 의한 분류를 통해 일반화를 향상시키고, 임베딩과 참조를 각 에피소드에 맞게 정렬합니다.
• 표준 소수 샷 벤치마크에서 강력한 실험적 성능을 보여주고 학습된 참조 및 프로젝션 공간의 동작을 분석합니다.

제안 방법

• 입력 데이터를 특징 공간으로 매핑하는 임베딩 네트워크 f_theta를 사용합니다.
• 참조 공간에서 클래스 프로토타입을 나타내는 각 클래스별 참조 벡터 Phi의 집합을 유지합니다.
• 에피소드에 따라 특징을 새로운 분류 공간으로 매핑하는 태스크-의존 선형 프로젝션 M을 계산합니다.
• 지원 세트에서 얻은 클래스 평균 c_k와 수정된 참조 tilde(phi)_k를 선형 lỗi의 제거를 통해 정렬하여 M(SVD를 통해 얻습니다).
• 쿼리를 프로젝션 공간에서 프로젝션된 참조 M(f_theta(x_hat))와의 유클리드 거리로 분류합니다.
• 다음 에피소드의 간격에 걸쳐 projection 공간의 거리 기반 손실을 최적화하도록 에피소드 동안 f_theta와 Phi를 업데이트합니다.

실험 결과

연구 질문

• RQ1 태스크-특정 프로젝션 공간이 정적 임베딩 공간을 넘어서 소수 샷 학습의 일반화를 개선할 수 있는가?
• RQ2 다른 태스크에서 학습된 클래스별 참조 벡터와 태스크 조건부 프로젝션이 미지의 클래스에 대한 정렬 및 구별을 더 잘 만드는가?
• RQ3 프로젝션 공간의 차원이 소수 샷 성능에 어떤 영향을 미치는가?
• RQ4 TapNet이 표준 벤치마크에서 기존의 메트릭 기반 및 메모리 보강 메타러너와 어떤 차이가 있는가?

주요 결과

• TapNet은 20-웨이 Omniglot에서 1샷 98.07%, 5샷 99.49%의 정확도를 달성합니다.
• TapNet은 5-웨이 miniImageNet에서 1샷 61.65%, 5샷 76.36%의 정확도를 달성합니다.
• TapNet은 5-웨이 tieredImageNet에서 1샷 63.08%, 5샷 80.26%의 정확도를 달성합니다.
• 프로젝션 공간 M은 임베딩-참조 불일치를 선형적으로 제거하여 에피소드별로 구성되며, M 자체에 대한 학습 매개변수가 필요 없는 태스크-특정 조정을 가능하게 합니다.
• 더 많은 에피소드에서의 학습과 더 높은 수의 클래스에 대한 훈련은 성능을 개선하고 소수 샷 테스트에서 다양한 클래스 수를 다루는 것을 가능하게 합니다.
• 시각화 분석은 참조가 프로젝션 공간에서 자연스럽게 구분되며 투영 후 매칭 참조와 정렬됨을 시사합니다.