[논문 리뷰] Finding Significant Features for Few-Shot Learning using Dimensionality Reduction

Mauricio Méndez-Ruiz, Iván García외 2명|arXiv (Cornell University)|2021. 07. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 1

한 줄 요약

이 논문은 소수의 샘플에서 학습하는 경우에 임계적인 기능을 식별하기 위해 차원 감소와 내/외부 클래스 근접 이웃 점수를 사용하는 새로운 ICNN 모듈을 제안한다. 메트릭 학습 이전에 가장 분류 능력이 뛰어난 기능을 선택함으로써, 특히 5-way 1-shot 설정에서, miniImageNet에서 기준 모델 대비 약 2% 향상된 정확도를 달성한다.

ABSTRACT

Few-shot learning is a relatively new technique that specializes in problems where we have little amounts of data. The goal of these methods is to classify categories that have not been seen before with just a handful of samples. Recent approaches, such as metric learning, adopt the meta-learning strategy in which we have episodic tasks conformed by support (training) data and query (test) data. Metric learning methods have demonstrated that simple models can achieve good performance by learning a similarity function to compare the support and the query data. However, the feature space learned by a given metric learning approach may not exploit the information given by a specific few-shot task. In this work, we explore the use of dimension reduction techniques as a way to find task-significant features helping to make better predictions. We measure the performance of the reduced features by assigning a score based on the intra-class and inter-class distance, and selecting a feature reduction method in which instances of different classes are far away and instances of the same class are close. This module helps to improve the accuracy performance by allowing the similarity function, given by the metric learning method, to have more discriminative features for the classification. Our method outperforms the metric learning baselines in the miniImageNet dataset by around 2% in accuracy performance.

연구 동기 및 목표

• 제안된 작업에 가장 관련성이 높은 기능을 식별하여 소수의 샘플에서 학습하는 데서 데이터 부족 문제를 해결한다.
• 전체 차원의 임bedding이 아닌 분류 능력이 뛰어난 기능에 집중하여 메트릭 학습 성능을 향상시킨다.
• 표준 메트릭 학습 방법이 작업에 특화된 기능의 중요성을 충분히 활용하지 못하는 한계를 극복한다.
• 다양한 메트릭 학습 프레임워크와 호환되는 일반 목적의 모듈을 개발하여 소수의 샘플 분류를 위한 기능 표현을 향상시킨다.

제안 방법

• 특징 추출기에서 생성된 서포트 세트 임베딩에 대해 다수의 차원 감소 기법(PCA, Isomap, UMAP)을 적용한다.
• 내부 클래스 및 외부 클래스 근접 이웃 거리 기반으로 ICNN 점수를 계산하여 기능 감소의 품질을 평가한다.
• 각 에피소드 작업에 대해 ICNN 점수를 기반으로 가장 성능이 뛰어난 차원 감소 기법을 선별한다.
• 메트릭 학습 추론 이전에 서포트 및 쿼리 임베딩에 대해 선택된 감소 기법을 적용한다.
• 기존의 메트릭 학습 모델(예: 프로토타입 네트워크)에 ICNN 모듈을 플러그인 방식으로 통합한다.
• miniImageNet에서 임의의 작업 샘플링을 통해 에피소드 학습을 수행하여 기능 선택 과정을 최적화한다.

실험 결과

연구 질문

• RQ1 차원 감소 기법이 작업에 특화된 기능을 식별함으로써 소수의 샘플 분류 성능을 향상시킬 수 있는가?
• RQ2 내부 및 외부 클래스 거리 기반 점수 기반 메커니즘이 소수의 샘플 학습에서 표준 기능 표현에 비해 어떻게 성능을 높이는가?
• RQ3 ICNN를 통한 작업 특화 기능 선택이 저샷 설정에서 일반화 능력과 안정성 향상에 기여하는가?
• RQ4 제안된 방법은 다양한 소수의 샘플 설정에서 최신 기술 대비 정확도와 안정성 측면에서 어떻게 비교되는가?

주요 결과

• ICNN 모듈은 miniImageNet의 5-way 1-shot 설정에서 프로토타입 네트워크의 정확도를 약 2% 향상시켰다.
• 백본으로 ResNet-12를 사용한 결과, 5-way 1-shot에서 63.81% ± 0.71의 테스트 정확도와 5-way 5-shot에서 78.14% ± 0.50의 정확도를 달성했다.
• 서포트 데이터뿐만 아니라 쿼리 데이터까지 포함하여 차원 감소를 수행한 경우, 서포트 데이터만 사용한 경우보다 훨씬 높은 ICNN 점수를 확보했다.
• 정확도 분포의 모든 사분위수에서 성능 향상이 있었으며, 특히 첫 번째 및 네 번째 사분위수에서 두드러진 성능 향상이 관찰되어 안정성 향상이 확인되었다.
• 표준 메트릭 학습 기준 모델(Matching Networks, Relation Networks)과 최신 기술인 K-tuplet Nets 및 Principal Characteristic Nets보다 뛰어난 성능을 보였다.
• 성능이 뛰어난 기능 감소 기법은 PCA, Isomap, UMAP였으며, 더 복잡한 모델은 프로토타입 추정이 어려워 성능이 저하되었다.