[论文解读] Bayesian Active Learning with Fully Bayesian Gaussian Processes

Christoffer Riis, Francisco Antunes+3 more|arXiv (Cornell University)|May 20, 2022

Machine Learning and Algorithms被引用 10

一句话总结

本文提出了两种新颖的贝叶斯主动学习采集函数——B-QBC 和 QB-MGP，专为全贝叶斯高斯过程（FBGP）设计，通过联合超参数推断显式优化偏差-方差权衡。通过利用长度尺度和噪声超参数的完整后验分布，该方法提升了数据效率，在六个模拟器上平均使负对数似然降低41%，均方根误差降低12%，相较于基线方法表现更优。

ABSTRACT

The bias-variance trade-off is a well-known problem in machine learning that only gets more pronounced the less available data there is. In active learning, where labeled data is scarce or difficult to obtain, neglecting this trade-off can cause inefficient and non-optimal querying, leading to unnecessary data labeling. In this paper, we focus on active learning with Gaussian Processes (GPs). For the GP, the bias-variance trade-off is made by optimization of the two hyperparameters: the length scale and noise-term. Considering that the optimal mode of the joint posterior of the hyperparameters is equivalent to the optimal bias-variance trade-off, we approximate this joint posterior and utilize it to design two new acquisition functions. The first one is a Bayesian variant of Query-by-Committee (B-QBC), and the second is an extension that explicitly minimizes the predictive variance through a Query by Mixture of Gaussian Processes (QB-MGP) formulation. Across six simulators, we empirically show that B-QBC, on average, achieves the best marginal likelihood, whereas QB-MGP achieves the best predictive performance. We show that incorporating the bias-variance trade-off in the acquisition functions mitigates unnecessary and expensive data labeling.

研究动机与目标

• 为解决在数据有限情况下，高斯过程（GPs）因偏差-方差权衡不佳而导致的数据标注效率低下问题。
• 开发显式考虑高斯过程超参数不确定性的采集函数，以提升模型选择与预测准确性。
• 证明全贝叶斯高斯过程推断相较于标准高斯过程主动学习方法，能够实现更优的采集决策。
• 在具有不同复杂度与噪声结构（包括异方差情形）的多样化模拟器上评估所提方法。
• 表明联合超参数后验分布的引入可带来更鲁棒且高效主动学习。

提出的方法

• 该方法采用全贝叶斯高斯过程（FBGP），通过MCMC采样对超参数（长度尺度 ℓ 和噪声方差 σ²）进行边缘化处理，捕捉模型假设的不确定性。
• B-QBC 采集函数基于从 FBGP 后验中采样的多个高斯过程模型之间的分歧程度选择数据点，促进对不确定区域的探索。
• QB-MGP 采集函数结合了预测方差最小化与通过高斯过程模型混合实现的多样性，显式降低输入空间中的不确定性。
• 通过MCMC近似超参数的联合后验分布，以反映多模态分布，尤其在数据量较少时偏差-方差权衡不明确的情况下。
• 采集函数以迭代方式评估：在每一步中，模型预测均值与方差，下一查询点根据所提准则选择。
• 该方法避免依赖超参数的点估计，而是使用完整的后验推断来指导数据选择，从而在早期迭代中减轻因模型引导不佳带来的影响。

实验结果

研究问题

• RQ1 在数据量有限的场景下，全贝叶斯高斯过程推断是否能通过更准确捕捉偏差-方差权衡来提升主动学习性能？
• RQ2 对高斯过程超参数的不确定性建模，如何影响主动学习中数据采集的效率与准确性？
• RQ3 超参数的联合后验是否揭示了多种合理的偏差-方差权衡？这种多面性能否被用于改进采集函数？
• RQ4 在多样化模拟器上，B-QBC 与 QB-MGP 相较于标准采集函数，在负对数似然与预测误差方面表现如何？
• RQ5 当使用同方差高斯过程建模时，所提方法能否有效处理具有异方差噪声的模拟器？

主要发现

• B-QBC 在平均负对数似然改善方面表现最佳，相较于基线在六个模拟器上平均降低 41%。
• QB-MGP 在预测性能方面表现最佳，相较于基线将均方根误差降低 12%。
• 在低数据量场景下观察到超参数（长度尺度与噪声）后验分布呈现多模态特征，表明存在多种合理的偏差-方差权衡。
• 在异方差的摩托车模拟器上，B-QBC 因噪声结构误导，过度拟合于中间区域的分歧，而 QB-MGP 凭借方差最小化机制保持了鲁棒性能。
• QB-MGP 中的 B-ALM 成分起到了多样性度量的作用，通过降低整体预测不确定性，促进探索。
• 所提方法在无需事先了解底层模拟器功能复杂度或噪声结构的前提下，对多样化模拟器均表现出鲁棒性。