[论文解读] Bayesian Inference with Posterior Regularization and applications to Infinite Latent SVMs

Jun Zhu, Ning Chen+1 more|arXiv (Cornell University)|Oct 5, 2012

Gaussian Processes and Bayesian Inference参考文献 59被引用 23

一句话总结

本文提出 RegBayes，一种新颖的贝叶斯推断框架，通过信息论优化实现后验正则化，使领域知识能够灵活地融入非参数贝叶斯模型。该方法应用于无限隐式支持向量机（iLSVM）和多任务 iLSVM（MT-iLSVM），通过高效的变分推断结合凸优化与对偶分解，将大间隔学习与贝叶斯非参数方法相结合，实现了最先进的分类性能。

ABSTRACT

Existing Bayesian models, especially nonparametric Bayesian methods, rely on specially conceived priors to incorporate domain knowledge for discovering improved latent representations. While priors can affect posterior distributions through Bayes' rule, imposing posterior regularization is arguably more direct and in some cases more natural and general. In this paper, we present regularized Bayesian inference (RegBayes), a novel computational framework that performs posterior inference with a regularization term on the desired post-data posterior distribution under an information theoretical formulation. RegBayes is more flexible than the procedure that elicits expert knowledge via priors, and it covers both directed Bayesian networks and undirected Markov networks whose Bayesian formulation results in hybrid chain graph models. When the regularization is induced from a linear operator on the posterior distributions, such as the expectation operator, we present a general convex-analysis theorem to characterize the solution of RegBayes. Furthermore, we present two concrete examples of RegBayes, infinite latent support vector machines (iLSVM) and multi-task infinite latent support vector machines (MT-iLSVM), which explore the large-margin idea in combination with a nonparametric Bayesian model for discovering predictive latent features for classification and multi-task learning, respectively. We present efficient inference methods and report empirical studies on several benchmark datasets, which appear to demonstrate the merits inherited from both large-margin learning and Bayesian nonparametrics. Such results were not available until now, and contribute to push forward the interface between these two important subfields, which have been largely treated as isolated in the community.

研究动机与目标

• 开发一种通用的后验正则化贝叶斯推断框架，其灵活性优于基于先验的知识获取方法。
• 将大间隔学习原理自然地嵌入非参数贝叶斯模型中，以提升分类与多任务学习性能。
• 通过在无限维隐空间中进行可扩展的推断，实现预测性隐特征的自动发现。
• 弥合大间隔学习与贝叶斯非参数方法之间的鸿沟，这两者历史上被视为孤立的范式。

提出的方法

• 提出 RegBayes，一种通过信息论正则化项优化后验分布的正则化贝叶斯推断框架。
• 利用凸分析刻画当正则化由线性算子（如期望算子）诱导时的解。
• 将该框架应用于构建无限隐式支持向量机（iLSVM）与多任务 iLSVM（MT-iLSVM），结合大间隔约束与非参数先验。
• 采用均场变分推断，通过交替更新隐变量、模型参数与对偶变量。
• 利用数据的实证估计推导出超参数 σ₀² 与 σₙ₀² 的闭式更新规则。
• 通过多分类支持向量机求解器求解对偶问题，实现对间隔约束的高效优化。

实验结果

研究问题

• RQ1 后验正则化能否系统性地整合进贝叶斯非参数模型，以改善隐特征发现与预测性能？
• RQ2 如何在不预先固定模型复杂度的前提下，自然地将大间隔学习嵌入非参数贝叶斯模型？
• RQ3 在具有线性约束的后验正则化下，后验分布的理论表征是什么？
• RQ4 所提出的框架能否在分类与多任务学习任务中超越标准贝叶斯非参数模型与大间隔模型？
• RQ5 后验正则化与非参数先验的结合，如何影响真实世界数据集上的泛化能力与可扩展性？

主要发现

• RegBayes 框架成功将后验正则化整合进贝叶斯非参数模型，可通过约束直接控制后验结构。
• iLSVM 与 MT-iLSVM 模型通过结合大间隔学习与无限隐特征发现，在基准数据集上实现了最先进性能。
• 实证结果表明，所提模型在分类准确率与泛化能力方面均优于标准 SVM 与非参数贝叶斯模型。
• 推断算法在 10–20 次迭代内可靠收敛，目标函数的相对变化低于 1e-3 与 1e-4 的阈值。
• 通过闭式解（公式 86–87）进行超参数估计，提升了大规模数据集上的稳定性与可扩展性。
• 利用多分类支持向量机求解器高效求解对偶问题，使高维隐空间中的可扩展训练成为可能。