[論文レビュー] A Generalized Mean Field Algorithm for Variational Inference in Exponential Families

Eric P. Xing, Michael I. Jordan+1 more|arXiv (Cornell University)|Oct 19, 2012

Gaussian Processes and Bayesian Inference参考文献 11被引用数 149

ひとこと要約

本稿では、指数型分布族モデルにおける変分推論のための一般化平均場（GMF）アルゴリズムを導入し、複雑なモデルを互いに重複のない変数クラスタに分解し、固定点方程式を用いて繰り返しクラスタ周辺分布を最適化することで、汎用的でモデルに依存しない近似推論を可能にする。この手法は収束を保証し、クラスタ内依存関係を保持し、複数の代表的モデルにおいて信念伝播法と同等の推論品質を達成する。

ABSTRACT

The mean field methods, which entail approximating intractable probability distributions variationally with distributions from a tractable family, enjoy high efficiency, guaranteed convergence, and provide lower bounds on the true likelihood. But due to requirement for model-specific derivation of the optimization equations and unclear inference quality in various models, it is not widely used as a generic approximate inference algorithm. In this paper, we discuss a generalized mean field theory on variational approximation to a broad class of intractable distributions using a rich set of tractable distributions via constrained optimization over distribution spaces. We present a class of generalized mean field (GMF) algorithms for approximate inference in complex exponential family models, which entails limiting the optimization over the class of cluster-factorizable distributions. GMF is a generic method requiring no model-specific derivations. It factors a complex model into a set of disjoint variable clusters, and uses a set of canonical fix-point equations to iteratively update the cluster distributions, and converge to locally optimal cluster marginals that preserve the original dependency structure within each cluster, hence, fully decomposed the overall inference problem. We empirically analyzed the effect of different tractable family (clusters of different granularity) on inference quality, and compared GMF with BP on several canonical models. Possible extension to higher-order MF approximation is also discussed.

研究の動機と目的

• 指数型分布族モデルにおける、モデル固有の導出を必要としない汎用的でモデルに依存しない変分推論手法の開発を目的とする。
• 従来の平均場手法における収束の保証の欠如と推論品質の不透明さという問題を解決することを目的とする。
• 複雑なモデルを扱いやすい非重複な変数クラスタに分解することで、効率的な近似推論を可能とすることを目的とする。
• 推論中に各クラスタ内の元の依存構造を保持することで、近似精度を向上させることを目的とする。
• クラスタの細かさが推論品質に与える影響を実験的に評価し、信念伝播法と比較することを目的とする。

提案手法

• GMFアルゴリズムは最適化をクラスタ因数分解可能分布に制限し、モデルを非重複な変数クラスタに分解する。
• 固定点方程式の集合を用いて、クラスタ周辺分布を繰り返し更新し、クラスタ内依存関係を保持する。
• 収束する局所最適解への保証を得るために、分布空間上の制約付き最適化を実行する。
• 一般化平均場理論から導出され、古典的平均場をより豊かな扱いやすい分布族に拡張する。
• 柔軟なクラスタの細かさをサポートし、近似精度と計算コストのトレードオフを可能にする。
• モデル固有の導出を必要とせず、広範な指数型分布族モデルに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 指数型分布族における変分推論のため、モデル固有の導出を一切必要としない汎用的平均場アルゴリズムを開発できるか？
• RQ2 クラスタの細かさの選択が、複雑なモデルにおける変分近似の品質にどのように影響するか？
• RQ3 GMFアルゴリズムは、代表的モデルにおいて信念伝播法と同等かそれ以上の推論品質を達成できるか？
• RQ4 一般化平均場フレームワークは収束を保証し、真の尤度の下界を提供できるか？
• RQ5 高次近似へのGMFの拡張における理論的・実用的限界は何か？

主な発見

• GMFアルゴリズムは、イジングモデルやボルツマンネットワークを含む複数の代表的モデルにおいて、信念伝播法と同等の推論品質を達成する。
• 異なるクラスタの細かさは推論精度に顕著な影響を与え、細かいクラスタの方が一般に近似品質が向上する。
• 固定点反復構造と制約付き最適化フレームワークのおかげで、収束が保証される。
• クラスタ内依存関係を保持するため、標準的平均場手法に比べて変分近似の品質が向上する。
• 実験的結果から、GMFは真の対数尤度に対してきつい下界を提供しており、信頼できる推論ツールとしての有効性が示された。
• このアプローチは高次平均場近似へと拡張可能であり、複雑なモデルにおけるさらなる改善の可能性を示唆している。