[論文レビュー] Variational Approximations between Mean Field Theory and the Junction Tree Algorithm

Wim Wiegerinck|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 24被引用数 80

ひとこと要約

本稿では、近似分布のクラスターベース要因分解を用いる一般化平均場変分推論手法を導入し、標準的平均場理論と正確なジュンクションツリー法の間の溝を埋める。一般化平均場方程式を用いてクラスターポテンシャルを最適化することで、柔軟なグラフィカル構造を実現し、近似品質を損なわずにモデル設計を簡素化できる。

ABSTRACT

Recently, variational approximations such as the mean field approximation have received much interest. We extend the standard mean field method by using an approximating distribution that factorises into cluster potentials. This includes undirected graphs, directed acyclic graphs and junction trees. We derive generalized mean field equations to optimize the cluster potentials. We show that the method bridges the gap between the standard mean field approximation and the exact junction tree algorithm. In addition, we address the problem of how to choose the graphical structure of the approximating distribution. From the generalised mean field equations we derive rules to simplify the structure of the approximating distribution in advance without affecting the quality of the approximation. We also show how the method fits into some other variational approximations that are currently popular.

研究の動機と目的

• 近似分布のクラスターベース要因分解を許容することで、平均場理論を一般化する変分推論フレームワークの開発。
• 確率的グラフィカルモデルにおける不正確な平均場近似と正確なジュンクションツリー法の間の溝を埋めること。
• 近似品質を損なわせることなく、事前に近似分布の構造を簡素化する原理的なルールを提供すること。
• 提案手法を機械学習で用いられる他の現代的変分近似法の広いクラスに統合すること。

提案手法

• 近似分布がクラスターポテンシャルに要因分解される方法を用い、非有向グラフ、有向非巡回グラフ、またはジュンクションツリーによる表現を可能にする。
• 標準的平均場更新の拡張として、クラスターポテンシャルを最適化するための一般化平均場方程式を導出する。
• 平均場法とジュンクションツリー法の間を補間する構造的変分近似を可能にする。
• 一般化平均場方程式から導かれるグラフィカル構造の簡素化ルールにより、近似精度に影響を与えずに複雑性を低減できる。
• 期待値伝搬や構造的変分推論などの他の現代的変分推論技術とも互換性があることが示されている。

実験結果

リサーチクエスチョン

• RQ1 変分推論は、標準的平均場仮定を越えてどのように一般化され、より高い正確性を達成できるか？
• RQ2 平均場理論と正確なジュンクションツリー法の間で、変分近似の品質に関してどのような関係があるか？
• RQ3 クラスターポテンシャルを用いた構造的近似は、正確性と計算コストのトレードオフを改善できるか？
• RQ4 近似分布の構造を簡素化するための基準やルールは何か？ ただし性能の低下を伴わないものとする。
• RQ5 提案手法は他の一般的な変分推論手法とどのように関係し、統合されるか？

主な発見

• 提案手法は、平均場理論と正確なジュンクションツリー法の間を滑らかに補間し、近似品質のスケーラブルなスペクトルを提供する。
• 一般化平均場方程式が導出され、それにより元のグラフィカルモデル構造と整合性を保ったままクラスターポテンシャルを最適化できる。
• この手法により、ジュンクションツリーのような構造的近似を用いながらも、平均場法の計算効率を維持できる。
• 一般化方程式から導かれた簡素化ルールにより、不要なクラスターモデル構造を削除しても近似品質に損なわれない。
• 他の現代的変分推論フレームワークとも互換性があることが示され、さまざまな確率的モデルへの応用可能性が向上する。