[論文レビュー] Inferring Parameters and Structure of Latent Variable Models by Variational Bayes

Hagai Attias|arXiv (Cornell University)|Jan 23, 2013

Bayesian Modeling and Causal Inference参考文献 23被引用数 536

ひとこと要約

本稿では、潜在変数モデルにおけるパラメータと構造の同時推論のための変分ベイズフレームワークを提案する。この手法は、サンプリングやヘッセ行列の計算を必要とせず、完全な事後分布に対する非ガウス型で解析的な近似を提供する。この方法はEMアルゴリズムを一般化し、収束が保証されており、混合ガウス分布やブラインドソース分離などのモデルにおけるロバストなベイズ学習を可能にする。

ABSTRACT

Current methods for learning graphical models with latent variables and a fixed structure estimate optimal values for the model parameters. Whereas this approach usually produces overfitting and suboptimal generalization performance, carrying out the Bayesian program of computing the full posterior distributions over the parameters remains a difficult problem. Moreover, learning the structure of models with latent variables, for which the Bayesian approach is crucial, is yet a harder problem. In this paper I present the Variational Bayes framework, which provides a solution to these problems. This approach approximates full posterior distributions over model parameters and structures, as well as latent variables, in an analytical manner without resorting to sampling methods. Unlike in the Laplace approximation, these posteriors are generally non-Gaussian and no Hessian needs to be computed. The resulting algorithm generalizes the standard Expectation Maximization algorithm, and its convergence is guaranteed. I demonstrate that this algorithm can be applied to a large class of models in several domains, including unsupervised clustering and blind source separation.

研究の動機と目的

• 潜在変数モデルにおける頻度主義的パラメータ推定の限界を解決すること。これはしばしば過学習や一般化性能の低下を引き起こす。
• 潜在変数モデルにおけるパラメータとモデル構造の両方に対する完全なベイズ推論の計算不能性を克服すること。
• サンプリングやヘッセ行列に基づくラプラス近似を回避する、スケーラブルで解析的な近似手法を開発すること。
• モデル選択と耐障害性にとって不可欠な、原理的で整合性のあるベイズ的手法を用いて、潜在変数モデルにおける構造学習を可能にすること。
• EMアルゴリズムを、パラメータ、構造、潜在変数の全事後分布を統一的な枠組みで推論可能に一般化すること。

提案手法

• パラメータ、潜在変数、構造の全事後分布を扱い、計算が可能な変分分布を用いて近似する変分ベイズフレームワークを提案する。
• 平均場変分ベイズ推論を用いて、結合事後分布を条件付き独立な成分に分解し、解析的更新を可能にする。
• EMのEステップとMステップを一般化した変分更新式を導出する。ここでは、パラメータと構造の両方に不確実性を組み込む。
• ラプラス近似とは異なり、ヘッセ行列の計算を避けるために、非ガウス型で柔軟な変分分布を用いる。
• 最適化中に最大化される変分下界（証拠下界、ELBO）を導入し、収束を保証する。
• 混合ガウス分布、因子分析、独立成分分析など、広範なモデルクラスにこのフレームワークを適用し、一貫性のある推論手順を実現する。

実験結果

リサーチクエスチョン

• RQ1 潜在変数モデルに対して、サンプリングやヘッセ行列の計算を回避する、スケーラブルで解析的なベイズ推論手法を開発できるか？
• RQ2 パラメータとモデル構造の両方の完全な事後分布を、統一的な枠組みでどのように近似できるか？
• RQ3 提案手法は、潜在変数モデルにおける標準的なEMアルゴリズムと比較して、一般化性能の向上と過学習の回避にどの程度寄与するか？
• RQ4 このフレームワークは、クラスタリングやブラインドソース分離を含む、分野をまたがる多様なモデル構造に対応できるか？
• RQ5 パラメータと構造の同時学習に応用された変分ベイズ推論アルゴリズムの収束特性はいかなるものか？

主な発見

• 変分ベイズフレームワークは、パラメータ、構造、潜在変数の全事後分布に対して、非ガウス型で解析的な近似を提供し、サンプリングやヘッセ行列の計算を回避する。
• アルゴリズムはEMアルゴリズムを一般化し、変分下界の単調増加により収束が保証される。
• この手法により、最尤推定と比較して過学習が軽減され、一般化性能が向上する、潜在変数モデルにおけるロバストなベイズ学習が可能になる。
• フレームワークは、混合ガウスモデルやブラインドソース分離を含む広範なモデルに適用可能であり、一貫性がありスケーラブルな推論が実現される。
• 実験結果から、無作為クラスタリングおよびソース分離タスクにおいて、競争力ある性能が達成され、構造学習の向上が示された。
• このアプローチは、モデル構造とパラメータの同時推論をサポートしており、潜在変数系におけるベイズ的モデル選択に適している。