[논문 리뷰] Bayesian Few-Shot Classification with One-vs-Each Pólya-Gamma Augmented Gaussian Processes

Jake Snell, Richard S. Zemel|arXiv (Cornell University)|2020. 07. 20.

Gaussian Processes and Bayesian Inference참고 문헌 63인용 수 8

한 줄 요약

이 논문은 Pólya-Gamma으로 흐트러진 가우시안 프로세스와 one-vs-each 소프트맥스 근사법을 사용한 베이지안 소수 샘플 분류 방법을 제안한다. 이는 매개변수 사후분포 계산 대신 기능에 대한 마진화를 통해 효율적인 기능 마진화를 가능하게 한다. Pólya-Gamma 보정을 통한 스케일러블 근사 추론을 활용하여 소수 샘플 벤치마크 및 도메인 전이 작업에서 더 높은 정확도와 불확실성 정량화를 달성한다.

ABSTRACT

Few-shot classification (FSC), the task of adapting a classifier to unseen classes given a small labeled dataset, is an important step on the path toward human-like machine learning. Bayesian methods are well-suited to tackling the fundamental issue of overfitting in the few-shot scenario because they allow practitioners to specify prior beliefs and update those beliefs in light of observed data. Contemporary approaches to Bayesian few-shot classification maintain a posterior distribution over model parameters, which is slow and requires storage that scales with model size. Instead, we propose a Gaussian process classifier based on a novel combination of Pólya-Gamma augmentation and the one-vs-each softmax approximation that allows us to efficiently marginalize over functions rather than model parameters. We demonstrate improved accuracy and uncertainty quantification on both standard few-shot classification benchmarks and few-shot domain transfer tasks.

연구 동기 및 목표

• 소수 샘플 분류에서 과적합을 방지하기 위해 베이지안 추론을 통해 모델 불확실성을 통합한다.
• 베이지안 FSC에서 모형 매개변수에 대한 사후분포 추론의 계산 및 저장 용량 제약을 극복한다.
• 매개변수 대신 기능에 대해 마진화하는 스케일러블 방법을 개발하여 효율적인 추론을 실현한다.
• 소수 샘플 분류 및 도메인 전이 벤치마크에서 불확실성 정량화 및 성능을 향상시킨다.

제안 방법

• 모형의 다중분류 문제를 단순화하기 위해 기능에 대한 가우시안 프로세스 사전분포를 사용한다.
• 가능성에 대한 효율적이고 안정적인 게이브스 샘플링을 가능하게 하기 위해 Pólya-Gamma 보정을 도입한다.
• 기능에 대한 가우시안 프로세스 사전분포를 사용하여 매개변수 대신 기능에 대해 마진화할 수 있도록 한다.
• Pólya-Gamma 보조 변수를 사용하여 마르코프 체인 몬테카를로 기반의 사후 추론을 수행하며, 로지스틱 가능성을 선형화한다.
• 전체 매개변수 사후분포를 저장하지 않아도 되는 스케일러블 근사 베이지안 추론을 가능하게 한다.
• 표준 소수 샘플 분류 작업과 소수 샘플 도메인 전이 작업 모두를 지원하는 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 기능 마진화를 통한 베이지안 가우시안 프로세스 분류기가 매개변수 기반 사후분포 방법보다 소수 샘플 분류에서 더 뛰어난 성능을 내는가?
• RQ2 Pólya-Gamma 보정을 사용하면 소수 샘플 베이지안 분류에서 효율적이고 스케일러블한 추론이 가능한가?
• RQ3 제안된 방법은 낮은 데이터 환경에서 지식 불확실성을 얼마나 잘 정량화하는가?
• RQ4 모델은 소수 샘플 도메인 전이 작업에 효과적으로 일반화되는가?

주요 결과

• 제안된 방법은 miniImageNet 및 tieredImageNet을 포함한 표준 소수 샘플 분류 벤치마크에서 최신 기준 성능을 달성한다.
• 기본 방법 대비 더 높은 校정 점수를 보이며, 뛰어난 불확실성 정량화 성능을 입증한다.
• 소수 샘플 도메인 전이 작업에서도 뛰어난 성능을 보이며, 분포 이동에 대한 강건성을 보여준다.
• Pólya-Gamma 보정을 통한 기능 마진화로 인해 매개변수 사후분포 방법 대비 더 빠른 추론과 낮은 메모리 사용량을 달성한다.