[论文解读] Efficient Graph-Based Active Learning with Probit Likelihood via Gaussian Approximations

Kevin Miller, Hao Li+1 more|arXiv (Cornell University)|Jul 21, 2020

Machine Learning and Algorithms被引用 5

一句话总结

该论文提出了一种高效的基于图的主动学习框架，用于非高斯贝叶斯模型的半监督学习，通过使用高斯分布近似后验分布，使计算高效的获取函数（如前瞻和模型变化）得以应用。与精确微调相比，该方法在合成数据集和真实世界数据集上的Probit模型和高斯模型中均实现了具有竞争力的性能，同时显著降低了计算成本。

ABSTRACT

We present a novel adaptation of active learning to graph-based semi-supervised learning (SSL) under non-Gaussian Bayesian models. We present an approximation of non-Gaussian distributions to adapt previously Gaussian-based acquisition functions to these more general cases. We develop an efficient rank-one update for applying "look-ahead" based methods as well as model retraining. We also introduce a novel "model change" acquisition function based on these approximations that further expands the available collection of active learning acquisition functions for such methods.

研究动机与目标

• 解决基于图的半监督学习中非高斯贝叶斯模型缺乏高效主动学习方法的问题。
• 使原本仅限于高斯模型的基于高斯的获取函数，能够应用于更现实的非高斯模型（如Probit模型）。
• 开发一种计算高效的秩一更新方法，以近似模型微调和前瞻查询，而无需完整重新计算。
• 提出一种基于高斯近似的新型“模型变化”获取函数，以改善非高斯设置下的查询选择。
• 证明这些近似方法在合成和真实世界数据集上，与精确微调相比，能实现具有竞争力的准确率并获得显著的速度提升。

提出的方法

• 使用拉普拉斯和牛顿近似将非高斯后验分布（如Probit模型）转换为高斯近似，以实现高效计算。
• 应用秩一更新，高效计算查询新样本点后后验均值和协方差的变化，避免完整微调。
• 利用近似后验分布制定获取函数，如“前瞻”和“模型变化”。
• 使用近似后验的负对数似然来定义模型变化获取函数，该函数衡量模型拟合的预期改进。
• 采用蒙特卡洛（MC）采样来估计期望风险和模型变化，以在准确率和计算成本之间取得平衡。
• 通过将NA更新后的后验与精确微调结果在测试数据上的表现进行比较，验证近似质量。

实验结果

研究问题

• RQ1 基于图的半监督学习中的非高斯贝叶斯模型能否支持原本仅限于高斯模型的高效主动学习获取函数？
• RQ2 在非高斯模型（如Probit模型）中，高斯近似在主动学习中能否准确表示真实后验分布？
• RQ3 秩一更新策略能否为主动学习过程中的完整模型微调提供计算高效的替代方案？
• RQ4 所提出的“模型变化”获取函数在非高斯设置下是否优于传统的不确定性与间隔基方法？
• RQ5 在合成和真实世界数据集上，所提出的近似方法在准确率和速度方面与精确微调相比如何？

主要发现

• 所提出的高斯近似方法使在非高斯模型（如Probit模型）中高效计算前瞻和模型变化获取函数成为可能。
• NA（新近似）对后验均值和协方差的更新结果与完整模型微调结果高度一致，如图3所示，验证了近似的质量。
• 在Checkerboard数据集上，Probit和GR模型中的MC基获取函数达到了最高准确率，优于MBR和VOpt方法。
• 在MNIST数据集上，MBR方法取得了最佳准确率，但计算成本较高；MC基方法在显著降低计算成本的同时提供了优异的性能。
• 模型变化获取函数表现出具有竞争力的性能，并为非高斯设置下的主动学习提供了新颖且有效的选择。
• 秩一更新策略实现了快速推理与查询选择，使主动学习在无需完整微调的情况下可扩展至更大规模数据集。