[論文レビュー] Bayesian Inference with Posterior Regularization and applications to Infinite Latent SVMs

Jun Zhu, Ning Chen+1 more|arXiv (Cornell University)|Oct 5, 2012

Gaussian Processes and Bayesian Inference参考文献 59被引用数 23

ひとこと要約

この論文は、情報理論的最適化を介した事後正則化を組み込んだ、非パラメトリックベイジアンモデルにドメイン知識を柔軟に統合できる、新しいベイジアン推論フレームワークRegBayesを紹介する。この手法は、無限ラベル付きSVM（iLSVM）およびマルチタスクiLSVM（MT-iLSVM）に適用され、凸最適化とデュアル分解を用いた効率的な変分推論により、マージン最大化学習とベイジアンノンパラメトリクスを統合し、最先端の分類性能を達成する。

ABSTRACT

Existing Bayesian models, especially nonparametric Bayesian methods, rely on specially conceived priors to incorporate domain knowledge for discovering improved latent representations. While priors can affect posterior distributions through Bayes' rule, imposing posterior regularization is arguably more direct and in some cases more natural and general. In this paper, we present regularized Bayesian inference (RegBayes), a novel computational framework that performs posterior inference with a regularization term on the desired post-data posterior distribution under an information theoretical formulation. RegBayes is more flexible than the procedure that elicits expert knowledge via priors, and it covers both directed Bayesian networks and undirected Markov networks whose Bayesian formulation results in hybrid chain graph models. When the regularization is induced from a linear operator on the posterior distributions, such as the expectation operator, we present a general convex-analysis theorem to characterize the solution of RegBayes. Furthermore, we present two concrete examples of RegBayes, infinite latent support vector machines (iLSVM) and multi-task infinite latent support vector machines (MT-iLSVM), which explore the large-margin idea in combination with a nonparametric Bayesian model for discovering predictive latent features for classification and multi-task learning, respectively. We present efficient inference methods and report empirical studies on several benchmark datasets, which appear to demonstrate the merits inherited from both large-margin learning and Bayesian nonparametrics. Such results were not available until now, and contribute to push forward the interface between these two important subfields, which have been largely treated as isolated in the community.

研究の動機と目的

• 事後正則化を組み込んだ一般化されたベイジアン推論フレームワークを構築し、従来のパラメータベースの知識獲得手法よりも柔軟性を高めること。
• マージン最大化学習の原則を、事前にモデルの複雑さを固定しない非パラメトリックベイジアンモデルに自然に統合すること。
• スケーラブルな推論を用いて無限次元の潜在空間で予測可能な潜在特徴を自動で発見できること。
• マージン最大化学習とベイジアンノンパラメトリクスの間のギャップを埋めること。これらは歴史的に独立したパラダイムとして扱われてきた。

提案手法

• 情報理論的正則化項を用いて事後分布を最適化する、正則化されたベイジアン推論フレームワークRegBayesを提案する。
• 線形作用素（期待値作用素など）によって正則化が誘導される場合の解の特徴付けに凸解析を用いる。
• フレームワークを応用して、マージン制約とノンパラメトリック事前分布を組み合わせた無限ラベル付きSVM（iLSVM）およびマルチタスクiLSVM（MT-iLSVM）を構築する。
• 潜在変数、モデルパラメータ、およびデュアル変数の交互更新を用いた平均場変分推論を採用する。
• データからの経験的推定を用いて、ハイパーパrameter σ₀² および σₙ₀² の閉形式更新式を導出する。
• デュアル問題をマルチクラスSVMソルバーで解き、マージン制約の効率的最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 事後正則化をベイジアンノンパラメトリクスモデルに体系的に統合することで、潜在特徴の発見と予測性能の向上が可能か？
• RQ2 モデルの複雑さを事前に固定せずに、マージン最大化学習を非パラメトリックベイジアンモデルに自然に埋め込めるか？
• RQ3 線形制約を伴う事後分布の理論的特徴づけはどのように得られるか？
• RQ4 提案されたフレームワークは、分類およびマルチタスク学習タスクにおいて、標準的なベイジアンノンパラメトリクスモデルやマージン最大化モデルを上回る性能を示せるか？
• RQ5 事後正則化とノンパラメトリック事前分布の組み合わせが、実世界のデータセットにおける一般化性能とスケーラビリティに与える影響は何か？

主な発見

• RegBayesフレームワークは、制約を用いて事後分布の構造を直接制御できるように、ベイジアンノンパラメトリクスモデルに事後正則化を効果的に統合した。
• iLSVMおよびMT-iLSVMモデルは、マージン最大化学習と無限次元の潜在特徴発見を組み合わせることで、ベンチマークデータセットで最先端の性能を達成した。
• 実験結果から、提案モデルは分類精度と一般化性能の両面で、標準的なSVMおよび非パラメトリックベイジアンモデルを上回っていることが示された。
• 推論アルゴリズムは10〜20イテレーションで安定して収束し、目的関数の相対変化が1e-3および1e-4の閾値未満に収束した。
• 閉形式解（式86–87）を用いたハイパーパrameter推定により、大規模データセットにおける安定性とスケーラビリティが向上した。
• デュアル問題はマルチクラスSVMソルバーを用いて効率的に解け、高次元の潜在空間でもスケーラブルな学習が可能になった。