[논문 리뷰] Prototype Completion with Primitive Knowledge for Few-Shot Learning

Baoquan Zhang, Xutao Li외 3명|arXiv (Cornell University)|2020. 09. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 7

한 줄 요약

이 논문은 기초 클래스 특징이 이미 잘 군집되어 있을 때, 보다 대표적인 프로토타입을 추정하기 위해 원시 지식(예: 부위 또는 특성 주석)을 활용하는 소수 샘플 학습을 위한 프로토타입 보완 프레임워크를 제안한다. 비정규화된 데이터를 사용하는 가우시안 기반 융합 전략과 함께 프로토타입 보완 네트워크를 도입함으로써, 메서드는 프로토타입 정확도를 향상시키고, miniImageNet, meta-MiniImageNet, CUB에서 최신 기술 대비 2%~9% 높은 분류 정확도를 달성한다.

ABSTRACT

Few-shot learning is a challenging task, which aims to learn a classifier for novel classes with few examples. Pre-training based meta-learning methods effectively tackle the problem by pre-training a feature extractor and then fine-tuning it through the nearest centroid based meta-learning. However, results show that the fine-tuning step makes very marginal improvements. In this paper, 1) we figure out the key reason, i.e., in the pre-trained feature space, the base classes already form compact clusters while novel classes spread as groups with large variances, which implies that fine-tuning the feature extractor is less meaningful; 2) instead of fine-tuning the feature extractor, we focus on estimating more representative prototypes during meta-learning. Consequently, we propose a novel prototype completion based meta-learning framework. This framework first introduces primitive knowledge (i.e., class-level part or attribute annotations) and extracts representative attribute features as priors. Then, we design a prototype completion network to learn to complete prototypes with these priors. To avoid the prototype completion error caused by primitive knowledge noises or class differences, we further develop a Gaussian based prototype fusion strategy that combines the mean-based and completed prototypes by exploiting the unlabeled samples. Extensive experiments show that our method: (i) can obtain more accurate prototypes; (ii) outperforms state-of-the-art techniques by 2% - 9% in terms of classification accuracy. Our code is available online.

연구 동기 및 목표

• 새로운 클래스 샘플이 사전 훈련된 특징 공간에서 산산이 흩어져 있을 때 대표 프로토타입을 추정하는 데 도전하는 것.
• 사전 훈련 기반 메타학습에서 특징 추출기의 미세조정이 미미한 성능 향상만을 가져오는 이유를 밝히는 것.
• 원시 지식(예: 부위/특성 주석)을 사전 지식으로 활용하여 프로토타입 추정을 향상시키는 것.
• 기본 클래스와 새로운 클래스 간 도메인 차이 또는 노이즈가 있는 원시 지식으로 인한 오류를 강건한 프로토타입 융합 전략을 통해 완화하는 것.
• 특징 추출기의 미세조정에 의존하지 않고 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 원시 지식(예: 귀, 다리, 눈의 존재)을 프로토타입 보완을 안내하는 사전 신호로 도입한다.
• 기본 클래스 샘플에서 추출한 특성의 시각적 특징을 사용하여 완전한 프로토타입을 예측하는 데 목적이 있는 프로토타입 보완 네트워크(ProtoComNet)를 훈련한다.
• 기본 프로토타입과 보완된 프로토타입을 융합하는 가우시안 기반 프로토타입 융합 전략을 사용한다. 이는 비정규화된 샘플을 이용해 프로토타입 분포를 모델링함으로써 구현된다.
• 융합 전략은 비정규화된 데이터를 활용하여 프로토타입의 불확실성과 분포를 추정함으로써, 노이즈가 있는 사전 지식이나 도메인 차이로 인한 오류를 줄인다.
• 융합된 프로토타입을 기반으로 코사인 거리 기반의 가장 가까운 이웃 분류기로 분류를 수행한다.
• 이 방법은 특징 추출기의 미세조정 없이 사전 훈련 프레임워크에서 작동한다.

실험 결과

연구 질문

• RQ1 왜 사전 훈련 기반 소수 샘플 학습에서 특징 추출기의 미세조정이 성능 향상에 거의 기여하지 않는가?
• RQ2 소수의 레이블이 있는 경우 부위 수준 또는 특성 수준의 사전 지식을 통합함으로써 프로토타입 추정을 향상시킬 수 있는가?
• RQ3 기본 클래스와 새로운 클래스 간의 차이 또는 노이즈가 있는 원시 지식에 대해 프로토타입 보완을 어떻게 강건하게 만들 수 있는가?
• RQ4 분포 인식 융합을 통해 기본 기반 프로토타입과 보완된 프로토타입을 융합하면 분류 정확도가 향상되는가?
• RQ5 기존 최신 기술 대비 소수 샘플 학습을 위한 프로토타입 보완 프레임워크가 뛰어난 성능을 낼 수 있는가?

주요 결과

• 사전 훈련된 특징 공간에서 기본 클래스는 밀집된 군집을 이루는 반면, 새로운 클래스는 높은 분산을 보이며, 이는 특징 추출기의 미세조정이 거의 도움이 되지 않는 이유를 설명한다.
• 원시 지식 기반 프로토타입 보완은 특히 진짜 클래스 중심에서 멀리 떨어진 샘플에서 프로토타입 정확도를 향상시키며, 1-shot 설정에서 더 큰 성과 향상을 보인다.
• 5-way 1-shot miniImageNet에서 본 논문의 방법은 73.13%의 정확도를 기록하여 베이스라인보다 4% 높고 최신 기술 대비 2%~9% 높은 성능을 달성한다.
• 가우시안 기반 프로토타입 융합 전략은 원시 지식의 노이즈에 민감도를 낮춰, 노이즈 비율 30%에서도 높은 성능(69.97% 정확도)을 유지하며, 융합 없이 사용할 경우 51.97% 정확도에 그친다.
• 제거 실험 결과, 프로토타입 보완과 융합 전략 모두 필수적임을 확인했다. 둘을 결합하면 평균 기반 융합 대비 3% 향상되고, 평균 전용 프로토타입 대비 1-shot 작업에서 4% 향상된다.
• 노이즈가 있는 원시 지식에 대해서도 강건한 성능을 유지하며, 가우시안 융합 전략을 사용할 경우 성능 저하가 크게 완화된다.