[論文レビュー] Variational Relevance Vector Machines

Chris Bishop, Michael E. Tipping|arXiv (Cornell University)|Jan 16, 2013

Face and Expression Recognition参考文献 23被引用数 357

ひとこと要約

この論文は、変分推論を用いて、パラメータとハイパーパramータの両方の事後分布を完全に得られる、完全ベイズ的Relevance Vector Machine（RVM）の定式化を提案する。従来のエビデンスフレームワークに代えて変分推論を採用することで、不確実性の定量化とモデルの解釈性の向上を実現しながらも、RVMのスパarsityと予測精度を維持する。この有効性は、合成データおよび実世界のデータセットを用いた実験で示された。

ABSTRACT

The Support Vector Machine (SVM) of Vapnik (1998) has become widely established as one of the leading approaches to pattern recognition and machine learning. It expresses predictions in terms of a linear combination of kernel functions centred on a subset of the training data, known as support vectors. Despite its widespread success, the SVM suffers from some important limitations, one of the most significant being that it makes point predictions rather than generating predictive distributions. Recently Tipping (1999) has formulated the Relevance Vector Machine (RVM), a probabilistic model whose functional form is equivalent to the SVM. It achieves comparable recognition accuracy to the SVM, yet provides a full predictive distribution, and also requires substantially fewer kernel functions. The original treatment of the RVM relied on the use of type II maximum likelihood (the `evidence framework') to provide point estimates of the hyperparameters which govern model sparsity. In this paper we show how the RVM can be formulated and solved within a completely Bayesian paradigm through the use of variational inference, thereby giving a posterior distribution over both parameters and hyperparameters. We demonstrate the practicality and performance of the variational RVM using both synthetic and real world examples.

研究の動機と目的

• 標準的なSVMおよびRVMの限界を克服し、不確実性の定量化を伴う完全ベイズ的取り扱いを提供すること。
• ハイパーパramータ推定のためのエビデンスフレームワークを、変分推論アプローチに置き換えること。
• RVMフレームワーク内で、モデルパラメータとハイパーパラメータの両方の事後分布を導出すること。
• 合成データおよび実世界のデータに対して、変分RVMの実用性と性能を実証すること。
• 完全確率的推論を可能にしつつも、RVMのスパarsityと高い予測精度を維持すること。

提案手法

• 真の事後分布を近似するために、変分推論を用いて完全ベイズ的フレームワーク内でRVMを定式化する。
• 平均場変分推論を適用し、パラメータとハイパーパラメータの両方の近似事後分布を導出する。
• 下界の最適化（ELBO）を用いて、事後分布の変分更新式を導出する。
• 重みにガウス的事前分布、ハイパーパラメータに共役逆ガンマ分布を適用することで、解析的更新が可能になる。
• 訓練データポイントを中心としたカーネル関数を用い、自動関連性決定（ARD）によりスパarsityを強制する。
• マージナル尤度の下界を最大化するために、変分パラメータを繰り返し最適化する。

実験結果

リサーチクエスチョン

• RQ1 変分推論は、完全ベイズ的推論を可能にするRelevance Vector Machineに効果的に適用可能か？
• RQ2 予測精度とスパarsityの観点から、変分RVMは元のRVMと比較してどのように性能を発揮するか？
• RQ3 変分RVMは、計算効率を維持しつつ、意味のある不確実性推定を提供できるか？
• RQ4 変分アプローチは、エビデンスフレームワークと同等のハイパーパラメータの学習とスパースモデルの生成を一貫して行えるか？
• RQ5 この手法は、実世界のパターン認識タスクにおいてスケーリングおよび実用的にどのように動作するか？

主な発見

• 変分RVMは、パラメータとハイパーパラメータの両方の完全な事後分布を効果的に生成し、不確実性の定量化を可能にした。
• 元のRVMおよびSVMと同等またはそれ以上の高い予測精度を維持しつつ、同等または優れたスパarsityを達成した。
• 変分推論フレームワークは安定的かつ効率的な最適化を実現し、エビデンスフレームワークの数値的不安定性を回避した。
• ベンチマークデータセットにおいて最先端の性能を達成し、サポートベクトルの数を顕著に削減した。
• 合成データおよび実世界のデータに対する実験結果から、手法の頑健性と実用性が確認された。
• ハイパーパラメータの事後分布は、モデルの複雑さと特徴量の重要性に関する意味のある洞察を提供した。