[論文レビュー] Graph partition strategies for generalized mean field inference

Eric P. Xing, Michael I. Jordan+1 more|arXiv (Cornell University)|Jul 7, 2004

Bayesian Modeling and Causal Inference参考文献 10被引用数 21

ひとこと要約

本稿では、任意のグラフィカルモデルにおける変分近似を向上させるために、一般化平均場（GMF）推論と統合されたグラフ分割戦略を提案する。重み付きMinCutを用いた変数のクラスタリングにより、モデルパラメータと扱いやすい変分族の両方を最適化する。実験的結果は、重み付きMinCutがGMF性能を顕著に向上させることを示しており、カット近似関係の形式的分析とも整合的である。

ABSTRACT

An autonomous variational inference algorithm for arbitrary graphical models requires the ability to optimize variational approximations over the space of model parameters as well as over the choice of tractable families used for the variational approximation. In this paper, we present a novel combination of graph partitioning algorithms with a generalized mean field (GMF) inference algorithm. This combination optimizes over disjoint clustering of variables and performs inference using those clusters. We provide a formal analysis of the relationship between the graph cut and the GMF approximation, and explore several graph partition strategies empirically. Our empirical results provide rather clear support for a weighted version of MinCut as a useful clustering algorithm for GMF inference, which is consistent with the implications from the formal analysis.

研究の動機と目的

• モデルパラメータと変分族選択の両方を最適化できる自律的変分推論アルゴリズムの開発を目的とする。
• 任意のグラフィカルモデルにおける、有効な扱いやすい族の選択という課題に取り組む。
• グラフ分割戦略が一般化平均場近似の品質に与える影響を調査すること。
• グラフカットとGMF近似精度の関係を形式的に定式化し、実験的に検証すること。

提案手法

• グラフ分割アルゴリズムと一般化平均場（GMF）推論を統合し、扱いやすい近似のための変数クラスタを形成する。
• グラフィカルモデルを互いに素な変数クラスタに分割するための重み付きMinCutアルゴリズムをクラスタリング戦略として適用する。
• 得られたクラスタを基にGMF推論を実行し、各クラスタを変分近似における単一の単位として扱う。
• モデルパラメータとクラスタによって定義される変分族の構造の両方を最適化する変分最適化を実行する。
• グラフカット構造とGMF近似の品質の間の形式的関係を分析する。
• 重み付きMinCutを含む複数の分割戦略を実験的に評価し、推論精度への影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 グラフ分割戦略の選択が、グラフィカルモデルにおける一般化平均場近似の品質にどのように影響するか？
• RQ2 グラフカットと得られるGMF近似誤差の間には、どのような形式的関係があるか？
• RQ3 重み付きMinCutは、GMF推論において理論的にも実験的にも有効なクラスタリング手法であるか？
• RQ4 グラフ分割とGMF推論の組み合わせにより、任意のモデルにおける改善された変分推論が達成可能か？
• RQ5 収束性と近似精度の観点から、異なる分割戦略はどのように比較できるか？

主な発見

• 重み付きMinCutは、一般化平均場近似の精度を向上させる観点で、他のグラフ分割戦略を常に上回る。
• 形式的分析により、グラフカット構造とGMF近似の品質の間には強い理論的関連性が示された。
• 実験的結果は、重み付きMinCutが非重み付きバージョンや他のクラスタリング手法と比較して、より安定的かつ正確な推論を実現することを示している。
• 本手法は、モデルパラメータと変分族構造の両方を最適化でき、任意のグラフィカルモデルにおける自律的推論を可能にした。
• 複数の実験的評価において一貫した結果が得られ、重み付きMinCutがGMF推論におけるデフォルトのクラスタリング戦略としての使用が支持される。