[논문 리뷰] Instance Credibility Inference for Few-Shot Learning

Yikai Wang, Chengming Xu외 3명|arXiv (Cornell University)|2020. 03. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 56인용 수 9

한 줄 요약

이 논문은 소수의 샘플 학습에서 성능을 향상시키기 위해 비정규화된 데이터에서 신뢰도가 높은 가짜 레이블이 부여된 예측을 반복적으로 선택하는 스팀라시티 기반 신뢰도 점수를 사용하는 단순하면서도 효과적인 통계적 방법인 인스턴스 신뢰도 추론(ICI)을 제안한다. 점차 확장되는 고신뢰도 학습 세트로 선형 분류기를 재학습시킴으로써, ICI는 miniImageNet, tieredImageNet, CIFAR-FS, CUB의 네 가지 주요 소수의 샘플 학습 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Few-shot learning (FSL) aims to recognize new objects with extremely limited training data for each category. Previous efforts are made by either leveraging meta-learning paradigm or novel principles in data augmentation to alleviate this extremely data-scarce problem. In contrast, this paper presents a simple statistical approach, dubbed Instance Credibility Inference (ICI) to exploit the distribution support of unlabeled instances for few-shot learning. Specifically, we first train a linear classifier with the labeled few-shot examples and use it to infer the pseudo-labels for the unlabeled data. To measure the credibility of each pseudo-labeled instance, we then propose to solve another linear regression hypothesis by increasing the sparsity of the incidental parameters and rank the pseudo-labeled instances with their sparsity degree. We select the most trustworthy pseudo-labeled instances alongside the labeled examples to re-train the linear classifier. This process is iterated until all the unlabeled samples are included in the expanded training set, i.e. the pseudo-label is converged for unlabeled data pool. Extensive experiments under two few-shot settings show that our simple approach can establish new state-of-the-arts on four widely used few-shot learning benchmark datasets including miniImageNet, tieredImageNet, CIFAR-FS, and CUB. Our code is available at: https://github.com/Yikai-Wang/ICI-FSL

연구 동기 및 목표

• 비정규화된 데이터를 활용하여 모델의 일반화 능력을 향상시킴으로써 소수의 샘플 학습에서 데이터 부족 문제를 해결하는 것.
• 비정규화된 데이터에서 높은 신뢰도를 가진 가짜 레이블이 부여된 인스턴스를 신뢰성 있게 식별하고 선택하여 노이즈 유발 손상의 영향을 방지하는 방법을 개발하는 것.
• 복잡한 메타학습 또는 데이터 증강 기법에 의존하지 않고도 소수의 샘플 학습 성능을 향상시키는 것.
• 신뢰도가 높은 비정규화된 샘플을 점진적으로 확장하는 안정적인 반복 프레임워크를 구축하는 것.

제안 방법

• 소수의 레이블이 부여된 지원 세트 예측에 기반해 초기 선형 분류기(예: 로지스틱 회귀)를 훈련한다.
• 훈련된 분류기를 사용해 모든 비정규화된 인스턴스에 대해 가짜 레이블을 예측한다.
• 특징을 가짜 레이블로 매핑하는 선형 회귀 가설을 적용하여 부수적 매개변수의 스파arsity를 증가시켜 신뢰도를 측정한다.
• 스파arsity 정도에 따라 모든 가짜 레이블이 부여된 인스턴스를 순위 매기며, 이를 신뢰도 점수로 사용한다.
• 각 클래스별로 상위-k개의 가장 높은 신뢰도를 가진 가짜 레이블이 부여된 인스턴스를 선택하고, 확장된 지원 세트로 분류기를 재학습한다.
• 모든 비정규화된 인스턴스가 포함되고 가짜 레이블이 수렴할 때까지 이 과정을 반복한다.

실험 결과

연구 질문

• RQ1 복잡한 메타학습 또는 데이터 증강 기법보다 단순한 통계적 방법이 소수의 샘플 학습에서 더 뛰어난 성능을 낼 수 있는가?
• RQ2 비정규화된 데이터에서 노이즈 누적을 방지하기 위해 신뢰도가 높은 가짜 레이블이 부여된 인스턴스를 어떻게 안정적으로 식별하고 선택할 수 있는가?
• RQ3 높은 신뢰도를 가진 인스턴스를 반복적으로 선택하는 전략이 단일 단계 선택 전략보다 더 나은 모델 수렴과 성능을 이끌어내는가?
• RQ4 이 방법은 초기 분류기의 정확도와 특징 공간의 차원 수에 얼마나 민감한가?
• RQ5 이 방법은 다양한 차원 축소 기법과 특징 공간에서 안정적인가?

주요 결과

• ICI는 miniImageNet, tieredImageNet, CIFAR-FS, CUB의 네 가지 널리 사용되는 소수의 샘플 학습 벤치마크에서 새로운 최고 성능을 달성한다.
• 5-way 1-shot miniImageNet에서 ICI는 차원 축소를 d=5로 수행했을 때 66.80%의 정확도를 기록하며 모든 베이스라인을 능가한다.
• 반복 선택 전략(예: 두 번의 반복을 거친 ICI(3))는 노이즈 감소와 수렴 향상 덕분에 단일 단계 선택 전략(예: ICI(8))보다 뚜렷이 뛰어난 성능을 보인다.
• 초기 분류기 정확도가 30-40%일지라도 ICI는 낮은 초기 성능에 대해 안정적이며 성능 향상을 보인다.
• 다양한 차원 축소 기법에 대해 안정적이며, PCA와 Isomap가 가장 좋은 성능을 보였고, MDS는 뚜렷이 열등한 성능을 보였다.
• 특징 공간 축소의 최적 차원은 d=5이며, 이때 스파arsity 기반의 랭킹이 최고의 성능를 나타낸다.