[論文レビュー] Bayesian Few-Shot Classification with One-vs-Each Pólya-Gamma Augmented Gaussian Processes

Jake Snell, Richard S. Zemel|arXiv (Cornell University)|Jul 20, 2020

Gaussian Processes and Bayesian Inference参考文献 63被引用数 8

ひとこと要約

本稿では、Pólya-Gamma補助変数を用いたガウス過程に、1対すべてのソフトマックス近似を組み合わせたベイジアン少数ショット分類手法を提案する。これにより、パrameterの事後分布の計算を避けて、関数の周辺化を効率的に行える。Pólya-Gamma補助変数を用いたスケーラブルな近似推論により、少数ショットベンチマークおよびドメイン転送タスクにおいて、精度と不確実性の定量化の両面で向上を達成する。

ABSTRACT

Few-shot classification (FSC), the task of adapting a classifier to unseen classes given a small labeled dataset, is an important step on the path toward human-like machine learning. Bayesian methods are well-suited to tackling the fundamental issue of overfitting in the few-shot scenario because they allow practitioners to specify prior beliefs and update those beliefs in light of observed data. Contemporary approaches to Bayesian few-shot classification maintain a posterior distribution over model parameters, which is slow and requires storage that scales with model size. Instead, we propose a Gaussian process classifier based on a novel combination of Pólya-Gamma augmentation and the one-vs-each softmax approximation that allows us to efficiently marginalize over functions rather than model parameters. We demonstrate improved accuracy and uncertainty quantification on both standard few-shot classification benchmarks and few-shot domain transfer tasks.

研究の動機と目的

• 少数ショット分類における過学習を、ベイジアン推論によるモデルの不確実性を組み込むことで解消すること。
• ベイジアン少数ショット分類におけるモデルパrameterの事後分布推論の計算および記憶容量の制限を克服すること。
• パrameterではなく関数の周辺化を行うことで、効率的な推論が可能なスケーラブルな手法を開発すること。
• 少数ショット分類およびドメイン転送ベンチマークにおける不確実性定量化と性能の向上を図ること。

提案手法

• 多クラス分類におけるガウス過程モデルの簡略化を図るため、1対すべてのソフトマックス近似を採用する。
• 尤度に対する効率的なギブスサンプリングを可能にするために、Pólya-Gamma補助変数を導入する。
• 関数上にガウス過程事前分布を設定し、パrameterではなく関数の周辺化を実現する。
• Pólya-Gamma補助変数を用いてロジスティック尤度を線形化し、マルコフ連鎖モンテカルロ法による事後分布推論を実施する。
• 完全なパrameter事後分布を保存せず、スケーラブルな近似ベイジアン推論を実現する。
• 標準的な少数ショット分類タスクに加え、少数ショットドメイン転送タスクに対応できるフレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 関数の周辺化を用いたベイジアンガウス過程分類器は、パrameterに基づく事後分布手法を上回る性能を示せるか？
• RQ2 Pólya-Gamma補助変数の使用により、少数ショットベイジアン分類における効率的かつスケーラブルな推論が可能になるか？
• RQ3 提案手法は、データが少ない状況下でもエピステムスティック不確実性を適切に定量化できるか？
• RQ4 モデルは少数ショットドメイン転送タスクに対しても効果的に一般化できるか？

主な発見

• 提案手法は、miniImageNetおよびtieredImageNetを含む標準的な少数ショット分類ベンチマークで最先端の精度を達成した。
• ベースライン手法と比較して、高いキャリブレーションスコアを示し、優れた不確実性定量化性能を示した。
• 少数ショットドメイン転送タスクにおいても優れた性能を示し、分布シフトに対して強いロバストネスを示した。
• Pólya-Gamma補助変数による関数の周辺化により、パrameter事後分布手法と比較して、より高速な推論と低メモリ使用量を実現した。