[논문 리뷰] Are Few-Shot Learning Benchmarks too Simple ? Solving them without Task Supervision at Test-Time

Gabriel Huang, Hugo Larochelle외 1명|arXiv (Cornell University)|2019. 02. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 11

한 줄 요약

이 논문은 테스트 시점 레이블 없이 지원 집합 임베딩을 군집화하는 방식으로 소수 샘플 학습 벤치마크를 해결하는 NLT(테스트 시점에 레이블이 없음) 기반 모델인 Centroid Networks를 소개한다. 이는 Omniglot이 테스트 시점 레이블 없이도 99.1%의 정확도로 해결 가능하다는 것을 보여주며, 현재의 벤치마크가 너무 단순할 수 있음을 시사하고, 더 어려운 교차 도메인 벤치마크가 소수 샘플 학습 방법을 공정하게 평가하기 위해 필요하다는 점을 강조한다.

ABSTRACT

We show that several popular few-shot learning benchmarks can be solved with varying degrees of success without using support set Labels at Test-time (LT). To this end, we introduce a new baseline called Centroid Networks, a modification of Prototypical Networks in which the support set labels are hidden from the method at test-time and have to be recovered through clustering. A benchmark that can be solved perfectly without LT does not require proper task adaptation and is therefore inadequate for evaluating few-shot methods. In practice, most benchmarks cannot be solved perfectly without LT, but running our baseline on any new combinations of architectures and datasets gives insights on the baseline performance to be expected from leveraging a good representation, before any adaptation to the test-time labels.

연구 동기 및 목표

• 인기 있는 소수 샘플 학습 벤치마크가 과연 작업 적응을 평가하는지, 아니면 테스트 시점의 지원 집합 레이블을 사용하지 않고도 해결 가능한지 조사하는 것.
• 대표성 학습과 작업 특화 적응 간 성능 향상 요인을 분리하는 데 목적이 있는 단순한 기반 모델을 개발하는 것.
• 테스트 시점 레이블 감독이 전혀 없이도 얻을 수 있는 양호한 표현만으로도 달성 가능한 기반 성능를 정량화하는 것.
• 일부 벤치마크가 적절한 작업 적응 없이도 해결 가능하다는 것을 입증함으로써 현재의 벤치마크에 내재된 한계를 부각하는 것.
• 진정으로 소수 샘플 일반화와 레이블 기반 적응이 필요한 더 어려운 교차 도메인 벤치마크의 필요성을 주장하는 것.

제안 방법

• 테스트 시점에 지원 집합 레이블을 숨기고 군집화를 통해 복구하는 방식으로, 지원 집합 레이블 없이도 작동하는 Prototypical Networks의 변형인 Centroid Networks를 제안한다.
• 군집화를 미분 가능할 수 있는 할당 문제로 간주하기 위해 Sinkhorn K-Means를 사용하여 지원 집합 임베딩을 클래스 그룹으로 군집화한다.
• 예측된 군집 인덱스를 진짜 클래스 레이블에 매칭하기 위해 허그리안 알고리즘을 적용하여 순열 불변성 조건 하에서 정확도를 최대화한다.
• 반복적인 레이블 개선을 피하기 위해 모든 지원 및 쿼리 집합을 한 번의 순전파로 임베딩한다.
• 표준 소수 샘플 학습 방법과 동일한 백본 네트워크(예: ResNet-12)와 학습 절차를 사용하여 공정한 비교를 보장한다.
• 비이행적 예측에 동일한 후처리 파이프라인을 적용하여, 레이블 감독 없이도 이행적 소수 샘플 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 Omniglot과 miniImageNet과 같은 인기 있는 소수 샘플 학습 벤치마크가 테스트 시점의 지원 집합 레이블 없이도 해결 가능한가?
• RQ2 이러한 벤치마크에서의 성능는 강력한 표현력 때문인지, 아니면 테스트 시점 레이블을 사용한 실제 작업 적응 때문인가?
• RQ3 NLT 기반 모델의 성능는 다양한 벤치마크에서 최신의 LT(레이블 사용) 방법과 비교해 볼 때 어떻게 되는가?
• RQ4 교차 도메인 소수 샘플 벤치마크는 동일 도메인 벤치마크보다 훨씬 더 어려운가, 그리고 테스트 시점 레이블 감독에 더 의존하는가?
• RQ5 군집화 기반 NLT 방법은 이행적 소수 샘플 학습 및 소수 샘플 군집화 작업에 효과적으로 적용될 수 있는가?

주요 결과

• Centroid Networks는 Omniglot 5-way/5-shot에서 99.1%의 NLT 정확도를 달성했고, 20-way/5-shot에서는 98.1%를 기록하여, 이 벤치마크가 테스트 시점 레이블 없이도 해결 가능하다는 것을 입증한다.
• miniImageNet에서는 FEAT 특징을 사용한 이행적 소수 샘플 학습에서 83.54%의 정확도를 기록했으며, 비이행적 기반 모델을 뛰어넘고 최신의 LT 방법에 가까이 다가섰다.
• Omniglot-CCN에서 기존의 CCN 변종보다 성능이 뛰어나 86.8% 대비 83.3%를 기록했고, 100배 빠르고 더 단순하다.
• tiered-ImageNet과 Meta-Dataset과 같은 교차 도메인 벤치마크에서는 NLT 성능가 낮아져, 진정한 작업 적응과 레이블 기반 적응이 필요하다는 점을 시사하며, 더 현실적인 소수 샘플 학습 평가 벤치마크임을 입증한다.
• 결과적으로, 지원 집합 레이블은 교차 도메인 소수 샘플 학습에서는 동일 도메인 벤치마크보다 훨씬 더 중요하다는 점을 확인했으며, 평가에서 도메인 이동의 중요성을 강조한다.
• NLT 기반 모델은 표현 학습 성능와 작업 적응 간의 분리에 강력한 기준점을 제공하며, 많은 현재의 벤치마크가 충분히 도전적이지 않다는 점을 시사한다.