[논문 리뷰] Embedding Adaptation is Still Needed for Few-Shot Learning

Sébastien M. R. Arnold, Fei Sha|arXiv (Cornell University)|2021. 04. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 67인용 수 5

한 줄 요약

이 논문은 인간이 레이블링한 의미 관계가 필요 없이 제어 가능한 전이 난이도를 갖는 소수 샘플 학습 벤치마크를 생성하는 클러스터링 기반 방법인 자동 태스크셋 생성(ATG)을 제안한다. ATG를 통해 소수 샘플 학습 방법의 체계적 평가가 가능해지며, 이는 기울기 기반 모델(예: Fine-tune)이 높은 전이 난이도에서 메트릭 기반 모델보다 뛰어난 성능을 보임을 드러내어, 이전에 메트릭 기반 모델의 우월성에 대한 가정을 도전한다.

ABSTRACT

Constructing new and more challenging tasksets is a fruitful methodology to analyse and understand few-shot classification methods. Unfortunately, existing approaches to building those tasksets are somewhat unsatisfactory: they either assume train and test task distributions to be identical -- which leads to overly optimistic evaluations -- or take a "worst-case" philosophy -- which typically requires additional human labor such as obtaining semantic class relationships. We propose ATG, a principled clustering method to defining train and test tasksets without additional human knowledge. ATG models train and test task distributions while requiring them to share a predefined amount of information. We empirically demonstrate the effectiveness of ATG in generating tasksets that are easier, in-between, or harder than existing benchmarks, including those that rely on semantic information. Finally, we leverage our generated tasksets to shed a new light on few-shot classification: gradient-based methods -- previously believed to underperform -- can outperform metric-based ones when transfer is most challenging.

연구 동기 및 목표

• 기존 소수 샘플 벤치마크의 한계를 해결하기 위해, 동일한 훈련/테스트 태스크 분포를 가정하는 경우(과도하게 낙관적인 결과를 초래함) 또는 고비용의 인간 레이블링된 의미 관계가 필요한 경우를 방지한다.
• 외부 지식에 의존하지 않고도 훈련 태스크와 테스트 태스크 간의 전이 난이도를 미세 조절할 수 있는 방법을 개발한다.
• 기울기 기반 및 메트릭 기반 소수 샘플 학습 방법의 성능을 다양한 전이 난이도 범위에서 경험적으로 평가한다.
• 높은 전이 난이도에서 기울기 기반 모델의 뛰어난 성능을 입증함으로써, 메트릭 기반 모델이 더 낫다는 일반적인 믿음을 도전한다.

제안 방법

• ATG는 훈련 및 테스트 태스크셋 간에 사전 정의된 수준의 유사성을 유지하면서 클래스 임베딩을 훈련 및 테스트 태스크셋으로 분할하기 위해 페널티가 부여된 클러스터링 목적함수를 사용한다.
• 클래스 임베딩은 사전 훈련된 백본 네트워크를 사용해 각 클래스의 모든 이미지의 특징 표현을 평균하여 계산된다.
• 이 방법은 클러스터의 밀도와 분포 간 유사성 간의 균형을 고려해 훈련 및 테스트 태스크의 결합 분포를 모델링한다.
• 클러스터링 목적함수의 페널티 항을 조정함으로써 ATG는 전이 난이도가 쉬운, 중간 정도의, 또는 어려운 태스크셋을 생성할 수 있다.
• 이 방법은 완전히 자동화되어 있으며 인간이 정의한 의미 관계나 추가 레이블링이 필요하지 않다.
• ATG는 CIFAR-100, mini-ImageNet 등 표준 데이터셋에 적용되어 전이 난이도가 다양한 다섯 개의 새로운 태스크셋을 생성한다.

실험 결과

연구 질문

• RQ1 인간이 레이블링한 의미 관계에 의존하지 않고 제어 가능한 전이 난이도를 갖는 소수 샘플 학습 벤치마크를 생성할 수 있는가?
• RQ2 기울기 기반 및 메트릭 기반 소수 샘플 학습 방법은 다양한 전이 난이도 범위에서 어떻게 성능을 내는가?
• RQ3 전이가 가장 어려운 경우에 소수 샘플 학습 방법의 성능 순위가 바뀌는가?
• RQ4 자동 태스크셋 생성이 기울기 기반 모델의 소수 샘플 학습에서 이전에 간과되었던 강점을 드러낼 수 있는가?
• RQ5 메트릭 기반 모델이 소수 샘플 학습에서 항상 열세를 지닌다는 가정은 모든 전이 난이도 영역에서 유효한가?

주요 결과

• 전이가 가장 어려운 조건에서 기울기 기반 모델(예: Fine-tune, MAML)은 메트릭 기반 모델(예: ProtoNet, ANIL)보다 뚜렷이 뛰어난 성능을 보이며, 높은 난이도에서 EMNIST에서 93.51%의 정확도를 기록한다.
• Fine-tune는 높은 전이 난이도에서 CIFAR-100에서 70.98%의 정확도, tiered-ImageNet에서 83.57%의 정확도를 기록하며, ProtoNet보다 10퍼센트 포인트 이상 높은 성능을 보였다.
• 결과는 고정된 특징 추출기를 공유하는 것만으로는 소수 샘플 학습이 충분하지 않다는 기존의 믿음을 도전하며, 전이가 어려운 상황에서는 임베딩 함수의 적응이 핵심임을 보여준다.
• ATG는 의미 레이블링 없이도 다양한 난이도의 태스크셋을 성공적으로 생성했으며, 이는 이전의 벤치마크보다 더 어려운 태스크셋도 포함한다.
• 이 방법은 더 현실적이고 다양한 벤치마크를 만들 수 있게 해주었으며, 모델 성능이 훈련 및 테스트 태스크 분포 간의 유사성에 매우 민감하게 영향을 받는다는 점을 드러냈다.
• 가장 어려운 상황, 즉 훈련 및 테스트 태스크 간에 정보 공유가 전혀 없는 조건에서는 기울기 기반의 임베딩 함수 적응이 높은 성능을 내기 위해 필수적임을 입증했다.