[论文解读] Bayesian Few-Shot Classification with One-vs-Each Pólya-Gamma Augmented Gaussian Processes

Jake Snell, Richard S. Zemel|arXiv (Cornell University)|Jul 20, 2020

Gaussian Processes and Bayesian Inference参考文献 63被引用 8

一句话总结

该论文提出了一种基于Pólya-Gamma扰动高斯过程的贝叶斯少样本分类方法，采用one-vs-each softmax近似，实现了无需计算参数后验分布的高效函数边际化。通过Pólya-Gamma扩展实现的可扩展近似推理，该方法在少样本基准和领域迁移任务中实现了更高的准确率和更优的不确定性量化。

ABSTRACT

Few-shot classification (FSC), the task of adapting a classifier to unseen classes given a small labeled dataset, is an important step on the path toward human-like machine learning. Bayesian methods are well-suited to tackling the fundamental issue of overfitting in the few-shot scenario because they allow practitioners to specify prior beliefs and update those beliefs in light of observed data. Contemporary approaches to Bayesian few-shot classification maintain a posterior distribution over model parameters, which is slow and requires storage that scales with model size. Instead, we propose a Gaussian process classifier based on a novel combination of Pólya-Gamma augmentation and the one-vs-each softmax approximation that allows us to efficiently marginalize over functions rather than model parameters. We demonstrate improved accuracy and uncertainty quantification on both standard few-shot classification benchmarks and few-shot domain transfer tasks.

研究动机与目标

• 通过贝叶斯推断引入模型不确定性，以缓解少样本分类中的过拟合问题。
• 克服贝叶斯少样本分类中模型参数后验推断带来的计算与存储限制。
• 开发一种可扩展的方法，通过边际化函数而非参数实现高效推断。
• 提升少样本分类与领域迁移基准任务中的不确定性量化与性能表现。

提出的方法

• 该方法采用one-vs-each softmax近似，以简化高斯过程模型中的多分类问题。
• 引入Pólya-Gamma扩展，以实现对似然函数的高效Gibbs采样，促进后验计算。
• 模型在函数上使用高斯过程先验，实现对函数而非参数的边际化。
• 通过引入Pólya-Gamma辅助变量，利用马尔可夫链蒙特卡洛方法进行后验推断，以线性化逻辑斯蒂似然函数。
• 该方法实现了无需存储完整参数后验分布的可扩展近似贝叶斯推断。
• 该框架支持标准少样本分类任务与少样本领域迁移任务。

实验结果

研究问题

• RQ1 基于函数边际化的贝叶斯高斯过程分类器是否能在少样本分类中超越基于参数后验的方法？
• RQ2 Pólya-Gamma扩展是否能实现在少样本贝叶斯分类中高效且可扩展的推断？
• RQ3 所提出方法在低数据场景下对认知不确定性（epistemic uncertainty）的量化效果如何？
• RQ4 该模型是否能有效泛化至少样本领域迁移任务？

主要发现

• 所提方法在标准少样本分类基准（包括miniImageNet和tieredImageNet）上实现了最先进（state-of-the-art）的准确率。
• 其不确定性量化表现更优，校准得分高于基线方法。
• 该模型在少样本领域迁移任务中表现出色，表明其对分布偏移具有强鲁棒性。
• 通过Pólya-Gamma扩展实现的函数边际化，相比参数后验方法，实现了更快的推断速度与更低的内存占用。