[논문 리뷰] Realistic Evaluation of Transductive Few-Shot Learning

Olivier Veilleux, Malik Boudiaf외 2명|arXiv (Cornell University)|2022. 04. 24.

Machine Learning and ELM인용 수 7

한 줄 요약

이 논문은 쿼리 세트의 클래스 분포를 Dirichlet 분포로 모델링하여 추론적 소수 샘플 학습의 현실적인 평가를 제안한다. 이로 인해 최신 추론적 방법들이 클래스 불균형 하에서 상당한 성능 저하를 겪는 것으로 드러났으며, 이는 종종 인덕티브 기반 방법보다 열등한 성능을 보였다. 또한 상호정보량을 일반화하는 $\alpha$-발산 기반의 손실 함수를 제안하여 다양한 벤치마크에서 불균형 설정에서도 뛰어난 내성적 안정성과 성능을 달성하였다.

ABSTRACT

Transductive inference is widely used in few-shot learning, as it leverages the statistics of the unlabeled query set of a few-shot task, typically yielding substantially better performances than its inductive counterpart. The current few-shot benchmarks use perfectly class-balanced tasks at inference. We argue that such an artificial regularity is unrealistic, as it assumes that the marginal label probability of the testing samples is known and fixed to the uniform distribution. In fact, in realistic scenarios, the unlabeled query sets come with arbitrary and unknown label marginals. We introduce and study the effect of arbitrary class distributions within the query sets of few-shot tasks at inference, removing the class-balance artefact. Specifically, we model the marginal probabilities of the classes as Dirichlet-distributed random variables, which yields a principled and realistic sampling within the simplex. This leverages the current few-shot benchmarks, building testing tasks with arbitrary class distributions. We evaluate experimentally state-of-the-art transductive methods over 3 widely used data sets, and observe, surprisingly, substantial performance drops, even below inductive methods in some cases. Furthermore, we propose a generalization of the mutual-information loss, based on $α$-divergences, which can handle effectively class-distribution variations. Empirically, we show that our transductive $α$-divergence optimization outperforms state-of-the-art methods across several data sets, models and few-shot settings. Our code is publicly available at https://github.com/oveilleux/Realistic_Transductive_Few_Shot.

연구 동기 및 목표

• 현재 소수 샘플 벤치마크에서의 클래스 균형 쿼리 세트 가정을 도전하여, 이는 추론적 방법에 대해 인위적으로 유리하게 작용한다.
• 쿼리 세트 내에서 현실적이고 임의의 클래스 분포를 고려한 상태에서 최신 추론적 소수 샘플 학습 방법의 내성적 안정성 평가.
• 클래스 분포 이탈에 더 잘 대응하는 $\alpha$-발산을 기반으로 한 상호정보량 손실의 일반화 제안.
• 추론적 방법과 인덕티브 방법 간의 공정한 벤치마크 프로토콜 제공을 위해 현실적인 Dirichlet 샘플링을 통한 클래스 분포 도입.

제안 방법

• 쿼리 세트의 마진널 클래스 확률을 단순형 확률 단체 내에서 현실적이고 임의의 클래스 분포를 생성하기 위해 Dirichlet 분포로 모델링한 랜덤 변수로 간주한다.
• 파ameter 벡터 $\bm{a}$ 를 가진 Dirichlet 분포에서 레이블 비율을 샘플링하여 기존의 소수 샘플 벤치마크에 불균형 태스크를 통합함으로써 불균형 심화 정도를 제어 가능하게 한다.
• 학습 및 추론 시 다양한 레이블 마진널에 대해 내성적 안정성을 확보하기 위해 $\alpha$-발산 기반의 새로운 손실 함수를 제안한다.
• 클래스 불균형 하에서도 일반화 성능을 향상시키기 위해 $\alpha$-발산 손실을 최적화하는 새로운 추론적 방법인 $\alpha$-TIM을 도입한다.
• 다양한 불균형 수준에서 일관된 성능을 확보하기 위해 $\alpha$ 초모델 하이퍼파rameter를 튜닝하기 위한 검증 프rotocol을 도입한다.
• 표준 백본과 소수 샘플 설정을 사용하여 세 가지 표준 소수 샘플 데이터셋 (miniImageNet, tieredImageNet, CIFAR-FS) 에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 현행 최신 추론적 소수 샘플 학습 방법들이 완전히 균형 잡힌 쿼리 세트가 아닌 현실적인 불균형 쿼리 세트 분포 하에서 어떻게 성능을 내는가?
• RQ2 현재의 추론적 방법들이 메타학습 중에 코딩된 암묵적 또는 명시적 클래스 균형 사전 정보에 얼마나 의존하는가?
• RQ3 $\alpha$-발산을 기반으로 한 일반화된 상호정보량 손실이 추론적 소수 샘플 학습에서 클래스 분포 이탈에 대해 내성적 안정성을 향상시킬 수 있는가?
• RQ4 클래스 불균형 하에서 추론적 배치 정규화가 여전히 유용한가, 아니면 현실적인 설정에서 성능 저하를 초래하는가?
• RQ5 벤치마크 프로토콜에서 인위적인 클래스 균형 가정을 제거했을 때, 추론적 방법의 성능가 인덕티브 기반 방법과 비교해 어떻게 되는가?

주요 결과

• 최신 추론적 방법들, 특히 TIM과 PT-MAP는 현실적인 불균형 쿼리 세트 하에서 최대 18%의 성능 저하를 겪으며, 일부 방법은 인덕티브 기반 방법보다 열등한 성능을 보였다.
• TIM의 성능은 마진널 엔트로피 가중치 $\lambda$ 를 정교하게 튜닝하지 않으면 극심하게 저하되며, 이는 하이퍼파ram터 선택에 민감함을 시사한다.
• 제안된 $\alpha$-TIM 방법은 모든 데이터셋, 백본, 소수 샘플 설정에서 기존 방법보다 일관된 개선을 이룩하였으며, 극심한 클래스 불균형 하에서도 성능이 유지되었다.
• TIM의 $\lambda$-기반 튜닝과 달리, $\alpha$-TIM의 $\alpha$-발산 손실은 최적의 $\alpha$ 값이 아니더라도 내성적 안정성을 확보하여 실세계 적용에 더 실용적이다.
• 클래스 불균형 하에서 추론적 배치 정규화가 성능 저하를 초래함을 입증하였으며, 이는 균형 잡힌 설정에서의 전통적 유용성과 정반대되는 결과이다.
• 불균형 수준이 높을수록 [33]의 인덕티브 기반 방법이 대부분의 추론적 방법보다 더 경쟁력 있는 성능을 보였으며, 이는 현재의 추론적 성능 향상 일부가 인위적인 균형 사전 정보에 기인할 수 있음을 시사한다.