[论文解读] Bayesian Active Learning for Classification and Preference Learning

Neil Houlsby, Ferenc Huszár+2 more|arXiv (Cornell University)|Dec 24, 2011

Machine Learning and Algorithms参考文献 20被引用 491

一句话总结

本文提出贝叶斯主动学习分歧法（BALD），一种新颖的信息论主动学习方法，用于高斯过程分类器（GPC），通过最小化全信息增益准则的近似，实现高效计算。通过将信息增益重新表述为预测熵的差异，BALD在计算成本低于决策理论方法的同时，实现了最先进性能，并通过核重参数化自然扩展至偏好学习。

ABSTRACT

Information theoretic active learning has been widely studied for probabilistic models. For simple regression an optimal myopic policy is easily tractable. However, for other tasks and with more complex models, such as classification with nonparametric models, the optimal solution is harder to compute. Current approaches make approximations to achieve tractability. We propose an approach that expresses information gain in terms of predictive entropies, and apply this method to the Gaussian Process Classifier (GPC). Our approach makes minimal approximations to the full information theoretic objective. Our experimental performance compares favourably to many popular active learning algorithms, and has equal or lower computational complexity. We compare well to decision theoretic approaches also, which are privy to more information and require much more computational time. Secondly, by developing further a reformulation of binary preference learning to a classification problem, we extend our algorithm to Gaussian Process preference learning.

研究动机与目标

• 开发一种用于高斯过程分类器的主动学习算法，以最小化对完整信息论目标的近似。
• 解决非参数模型（如GPC）中高维、不可计算的后验熵问题。
• 通过将二元偏好任务重新表述为分类问题，将该方法扩展至偏好学习。
• 在计算时间显著更短的前提下，实现与决策理论方法相当的性能。
• 实现核超参数的主动学习，解决GP和SVM基主动学习中长期存在的挑战。

提出的方法

• 将信息增益重新表述为先验与后验预测熵的差异，避免直接计算参数后验熵。
• 利用输出上的预测熵来估计信息增益，从而在后验不可计算的GPC中实现可计算的计算。
• 应用BALD准则选择能最大程度提升对模型参数信息增益的查询样本。
• 通过构建将成对比较映射到分类框架的核函数，将该方法扩展至偏好学习。
• 使用近似推理方法（如Laplace、EP、ADF）而不改变核心获取函数，从而在计算权衡中保持灵活性。
• 保持对推理方法的无偏性，支持与稀疏、在线或变分推理方案的集成。

实验结果

研究问题

• RQ1 在非参数模型（如GPC）中，是否能高效计算贝叶斯主动学习中的信息增益，而无需强近似？
• RQ2 与决策理论方法和启发式主动学习方法相比，BALD在分类任务中的性能与效率如何？
• RQ3 通过将偏好学习重新表述为分类问题，BALD框架是否可被扩展至偏好学习？
• RQ4 在噪声数据和真实世界数据集中，BALD是否优于IVM和QBC等方法，尤其是在超参数固定的情况下？
• RQ5 BALD是否能自然支持核超参数的主动学习，从而克服现有GP和SVM基主动学习方法中的关键局限？

主要发现

• BALD在所有数据集上均取得最佳整体性能，达到相同分类准确率所需的数据点数量少于所有其他方法。
• BALD的性能与决策理论方法（如Zhu et al., 2003）相当，但计算成本显著更低，且无需访问测试数据位置。
• MES在噪声数据上表现差，因其缺乏对噪声的不确定性建模；而BALD在噪声和无噪声数据上均保持强健性能。
• IVM在噪声数据上表现病态，因其偏向选择某一类，凸显了其后验近似和ADF更新的局限性。
• QBC性能不稳定，尤其在噪声数据上，因其依赖于集成分歧但缺乏内在不确定性建模。
• 即使在超参数固定的情况下，BALD的性能依然稳健，尽管初始查询可能因早期阶段过拟合而次优——可通过简单启发式方法缓解。