[论文解读] Variational Relevance Vector Machines

Chris Bishop, Michael E. Tipping|arXiv (Cornell University)|Jan 16, 2013

Face and Expression Recognition参考文献 23被引用 357

一句话总结

本文提出了一种使用变分推断的完全贝叶斯化相关向量机（RVM）公式，实现了对参数和超参数的完整后验分布。通过用变分推断替代传统的证据框架，该方法在保持RVM的稀疏性和预测准确性的同时，提供了不确定性量化和改进的模型可解释性，其有效性在合成数据集和真实世界数据集上得到了验证。

ABSTRACT

The Support Vector Machine (SVM) of Vapnik (1998) has become widely established as one of the leading approaches to pattern recognition and machine learning. It expresses predictions in terms of a linear combination of kernel functions centred on a subset of the training data, known as support vectors. Despite its widespread success, the SVM suffers from some important limitations, one of the most significant being that it makes point predictions rather than generating predictive distributions. Recently Tipping (1999) has formulated the Relevance Vector Machine (RVM), a probabilistic model whose functional form is equivalent to the SVM. It achieves comparable recognition accuracy to the SVM, yet provides a full predictive distribution, and also requires substantially fewer kernel functions. The original treatment of the RVM relied on the use of type II maximum likelihood (the `evidence framework') to provide point estimates of the hyperparameters which govern model sparsity. In this paper we show how the RVM can be formulated and solved within a completely Bayesian paradigm through the use of variational inference, thereby giving a posterior distribution over both parameters and hyperparameters. We demonstrate the practicality and performance of the variational RVM using both synthetic and real world examples.

研究动机与目标

• 为克服标准SVM和RVM的局限性，提供具有不确定性量化的完全贝叶斯处理。
• 用变分推断方法替代超参数估计的证据框架。
• 在RVM框架中推导出模型参数和超参数的后验分布。
• 在合成数据和真实世界数据上展示变分RVM的实用性和性能。
• 在保持RVM稀疏性和高预测准确性的同时，实现完全的概率推理。

提出的方法

• 使用变分推断在完全贝叶斯框架内公式化RVM，以近似真实后验分布。
• 应用均场变分推断，推导出对参数和超参数的近似后验分布。
• 使用证据下界（ELBO）推导变分更新。
• 对权重使用高斯先验，对超参数使用共轭逆伽马先验，以实现解析更新。
• 采用以训练数据点为中心的核函数，通过自动相关性确定（ARD）实现稀疏性。
• 迭代优化变分参数，以最大化边际似然的下界。

实验结果

研究问题

• RQ1 变分推断能否有效应用于相关向量机，以实现完全的贝叶斯推理？
• RQ2 在预测准确性和稀疏性方面，变分RVM的性能与原始RVM相比如何？
• RQ3 变分RVM是否在保持计算效率的同时提供有意义的不确定性估计？
• RQ4 变分方法能否稳定学习超参数并生成与证据框架相当的稀疏模型？
• RQ5 该方法在真实世界模式识别任务中的可扩展性和性能表现如何？

主要发现

• 变分RVM成功地为参数和超参数生成了完整的后验分布，实现了不确定性量化。
• 该方法保持了与原始RVM和SVM相当的高预测准确性，且稀疏性相当或更优。
• 变分推断框架提供了稳定高效的优化，避免了证据框架的数值不稳定性。
• 该方法在基准数据集上实现了最先进性能，显著减少了支持向量的数量。
• 在合成数据和真实世界数据上的实证结果证实了该方法的鲁棒性和实用性。
• 超参数的后验分布为模型复杂度和特征相关性提供了有意义的洞察。