[논문 리뷰] 'Less Than One'-Shot Learning: Learning N Classes From M<N Samples

Ilia Sucholutsky, Matthias Schonlau|arXiv (Cornell University)|2020. 09. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 27

한 줄 요약

이 논문은 N개의 클래스를 M < N개의 소프트 레이블 프로토타입으로부터 학습하는 '한 개 미만의 샘플' 학습(LO-shot)을 소개한다. 거리 가중 k-최근접 이웃 분류기와 소프트 레이블을 사용함으로써, 저자들은 두 개의 프로토타입으로도 유한한 수의 클래스를 분리할 수 있음을 입증하며, 하드 레이블 방법에 비해 샘플 효율성이 극도로 뛰어나고, 최소 프로토타입 요구 수를 O(N²)에서 O(1)로 감소시킴을 보여준다.

ABSTRACT

Deep neural networks require large training sets but suffer from high computational cost and long training times. Training on much smaller training sets while maintaining nearly the same accuracy would be very beneficial. In the few-shot learning setting, a model must learn a new class given only a small number of samples from that class. One-shot learning is an extreme form of few-shot learning where the model must learn a new class from a single example. We propose the `less than one'-shot learning task where models must learn $N$ new classes given only $M<N$ examples and we show that this is achievable with the help of soft labels. We use a soft-label generalization of the k-Nearest Neighbors classifier to explore the intricate decision landscapes that can be created in the `less than one'-shot learning setting. We analyze these decision landscapes to derive theoretical lower bounds for separating $N$ classes using $M<N$ soft-label samples and investigate the robustness of the resulting systems.

연구 동기 및 목표

• N개의 클래스를 N개 이하의 훈련 샘플에서 학습할 수 있는 이론적 가능성을 확립하기 위해.
• 소프트 레이블이 극도로 낮은 샘플 수 환경에서 효과적인 결정 경계 형성에 어떻게 기여하는지 조사하기 위해.
• LO-shot 제약 조건 하에서 생성된 결정 경계의 강건성과 안정성을 분석하기 위해.
• 소프트 레이블 프로토타입이 하드 레이블 방법에 비해 훈련 샘플 수를 극적으로 줄일 수 있음을 입증하기 위해.
• 저데이터 환경에서 데이터셋 압축 및 프로토타입 생성에 대한 이론적 기반을 제공하기 위해.

제안 방법

• 확률적 레이블 분포를 사용하는 거리 가중 투표 기반의 소프트 레이블 일반화 k-최근접 이웃 분류기(SLaPkNN)를 제안한다.
• 소프트 레이블을 사용해 부분적인 클래스 소속도를 표현함으로써, 각 프로토타입이 다수의 클래스 경계에 기여할 수 있도록 한다.
• 기하학적 및 확률적 분석을 통해 M < N개의 소프트 레이블 프로토타입을 사용해 N개의 클래스를 분리하는 데 필요한 이론적 하한을 유도한다.
• 프로토타입 위치와 소프트 레이블을 변형시켜 결정 경계의 강건성을 분석하고, 위험 기울기와 내부 클래스 위험 행동을 측정한다.
• 동심원 케이스 스터디를 통해 하드 레이블과 소프트 레이블 프로토타입 생성 방식을 비교하며, 소프트 레이블이 더 뛰어난 성능을 보임을 보여준다.
• 역거리 가중치와 소프트 레이블 융합을 사용해 클래스 확률을 계산함으로써, 최소한의 프로토타입으로부터 다중 클래스 분리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 결정 공간에서 M < N개의 소프트 레이블 프로토타입을 사용해 N개의 클래스를 분리할 수 있는가?
• RQ2 N개의 클래스를 분리하기 위해 필요한 소프트 레이블 프로토타입의 이론적 하한은 얼마인가?
• RQ3 프로토타입 위치와 레이블의 변형에 따라 LO-shot 결정 경계의 강건성은 어떻게 변하는가?
• RQ4 구조화된 데이터에서 소프트 레이블 프로토타입이 O(N²)에서 O(1)로 최소 프로토타입 수를 줄일 수 있는가?
• RQ5 소프트 레이블은 하드 레이블 프로토타입에 비해 프로토타입 기반 분류에서 샘플 효율성을 어떻게 향상시키는가?

주요 결과

• 단 두 개의 소프트 레이블 프로토타입으로 훈련된 SLaPkNN 분류기는 결정 공간을 유한한 수의 클래스로 분할할 수 있다.
• 이론적 분석을 통해 소프트 레이블 프로토타입은 M < N개의 샘플로도 N개의 클래스를 완벽하게 분리할 수 있음을 보여주며, 기존의 직관을 뛰어넘는다.
• 강건성 분석을 통해 정교하게 조정된 프로토타입 설정은 결정 경계를 안정화시키고 내부 클래스 위험 변동을 최소화함을 밝혀냈다.
• 동심원 케이스 스터디에서 소프트 레이블 프로토타입은 최소 필요 프로토타입 수를 O(N²)에서 O(1)로 줄였으며, 다섯 개의 프로토타입으로 여섯 개의 클래스를 분리할 수 있었다.
• 이 방법은 높은 샘플 효율성을 보였다: MNIST에서 다섯 개의 소프트 레이블 프로토타입을 훈련시켜 90% 이상의 정확도를 달성했으며, LO-shot 학습의 실현 가능성을 입증했다.
• 소프트 레이블 SLaPkNN는 기하학적 정밀도에서 하드 레이블 kNN을 능가했으며, 데이터의 기하학적 구조를 잘 반영하는 매끄럽고 타원형에 가까운 결정 경계를 생성했다.