[論文レビュー] Incorporating Expressive Graphical Models in Variational Approximations: Chain-Graphs and Hidden Variables

Tal El‐Hay, Nit Friedman|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 9被引用数 10

ひとこと要約

この論文では、複雑なグラフィカルモデルにおける近似品質の向上を目的として、変分推論におけるチェーングラフおよび潜在変数を伴うベイジアンネットワークの利用を提案する。標準の変分手法を単純なベイジアンネットワークやマルコフネットワークの範囲を越えて拡張することにより、複数変数の依存関係をより表現力豊かに表現可能となり、後退推論における近似精度と計算効率のトレードオフが改善される。

ABSTRACT

Global variational approximation methods in graphical models allow efficient approximate inference of complex posterior distributions by using a simpler model. The choice of the approximating model determines a tradeoff between the complexity of the approximation procedure and the quality of the approximation. In this paper, we consider variational approximations based on two classes of models that are richer than standard Bayesian networks, Markov networks or mixture models. As such, these classes allow to find better tradeoffs in the spectrum of approximations. The first class of models are chain graphs, which capture distributions that are partially directed. The second class of models are directed graphs (Bayesian networks) with additional latent variables. Both classes allow representation of multi-variable dependencies that cannot be easily represented within a Bayesian network.

研究の動機と目的

• ベイジアンネットワークやマルコフネットワークのような過度に単純なモデルに依存する標準の変分近似の制限を解決すること。
• より豊かなグラフィカルモデル構造を組み込むことで、変分近似の品質を向上させること。
• 標準の有向または無向モデルでは捉えにくい、複雑な複数変数の依存関係をより良い表現で記述できること。
• 変分推論における近似精度と計算複雑度のトレードオフを明らかにすること。
• 複雑な後退推論タスクにおけるチェーングラフと潜在変数モデルを変分近似器として使用するフレームワークを提供すること。

提案手法

• 変分推論における近似族として、有向および無向の混合グラフであるチェーングラフを採用する。
• ベイジアンネットワーク構造に潜在変数を導入することで、複雑な依存関係をモデル化する表現力を高める。
• これらの豊かなモデルを用いて変分推論を定式化し、対数尤度の下界を最適化する。
• 座標上昇変分推論（CAVI）を用いて、近似チェーングラフおよび潜在変数モデルのパラメータの更新則を導出する。
• チェーングラフおよび潜在変数を伴うベイジアンネットワークの条件付き独立性の性質を活用して、変分目的関数を簡略化する。
• 標準モデルが複雑な依存関係を効果的に捉えられない実世界の推論問題に、本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 標準のベイジアンネットワークやマルコフネットワークと比較して、チェーングラフはより表現力豊かな変分近似を可能にするか？
• RQ2 ベイジアンネットワークに潜在変数を組み込むことで、変分近似の品質はどのように向上するか？
• RQ3 より豊かなグラフィカルモデルを用いることで、近似精度と計算複雑度のトレードオフにどのような影響を与えるか？
• RQ4 チェーングラフと潜在変数モデルは、標準モデルでは捉えきれない複数変数の依存関係を捉えることができるか？
• RQ5 実際の推論タスクにおいて、提案手法はベースラインの変分近似と比較してどの程度の性能を示すか？

主な発見

• チェーングラフは、条件付き独立構造のより表現力豊かな表現を可能にし、複雑な後退分布の近似を改善できる。
• ベイジアンネットワークに潜在変数を組み込むことで、観測されない依存関係を捉えることができ、変分近似の品質が顕著に向上する。
• 提案手法は、標準の変分族と比較して、近似精度と計算効率のトレードオフをより良く達成する。
• チェーングラフや潜在変数ネットワークのような表現力豊かなモデルの使用により、変分推論における対数尤度の下界がよりタイトなものになる。
• 実験結果から、提案された近似手法が、複雑で複数変数に及ぶ依存関係を捉える点で、標準の変分モデルを上回ることが示された。
• 本フレームワークは汎用的であり、標準の変分近似が不十分な多くの確率的モデルに応用可能である。