[論文レビュー] Learning Planar Ising Models

Jason K. Johnson, Praneeth Netrapalli+1 more|arXiv (Cornell University)|Nov 15, 2010

Bayesian Methods and Mixture Models参考文献 24被引用数 3

ひとこと要約

本稿では、既知の2次相互相関を用いて、二値確率変数の最良の平面的イジングモデル近似を学ぶための貪欲アルゴリズムを提案する。平面的イジングモデルにおける扱いやすい推論と効率的な平面性判定を活用することで、観測された相関に最もよく適合する最大の平面的グラフを構築し、シミュレーションでは正確な回復を達成し、米国上院の投票行動を高い精度でモデル化する。

ABSTRACT

Inference and learning of graphical models are both well-studied problems in statistics and machine learning that have found many applications in science and engineering. However, exact inference is intractable in general graphical models, which suggests the problem of seeking the best approximation to a collection of random variables within some tractable family of graphical models. In this paper, we focus our attention on the class of planar Ising models, for which inference is tractable using techniques of statistical physics [Kac and Ward; Kasteleyn]. Based on these techniques and recent methods for planarity testing and planar embedding [Chrobak and Payne], we propose a simple greedy algorithm for learning the best planar Ising model to approximate an arbitrary collection of binary random variables (possibly from sample data). Given the set of all pairwise correlations among variables, we select a planar graph and optimal planar Ising model defined on this graph to best approximate that set of correlations. We demonstrate our method in some simulations and for the application of modeling senate voting records.

研究の動機と目的

• 一般モデルでは正確な推論が困難な場合に、グラフィカルモデルを扱いやすく学ぶための手法を開発すること。
• 与えられた二値確率変数の集合を、それらの2次相関と一致する平面的イジングモデルで近似すること。
• 平面グラフおよびイジングモデル推論の既知の技術を活用して、グラフィカル構造とパラメータを効率的に学ぶこと。
• 実世界のデータ（例：米国上院の投票記録）にこの手法を適用し、隠れた相互作用構造を解明すること。
• より広範な適用性を実現するため、外平面的非ゼロ磁場モデルへのフレームワークの拡張すること。

提案手法

• 観測された2次相関と一致する尤度を最も向上させるエッジを段階的に追加する貪欲アルゴリズムを用いる。
• 各ステップでグラフが平面のまま保たれるように、平面性判定および埋め込みアルゴリズム（例：ChrobakとPayne）を適用する。
• 行列行列式の計算（Kac-Ward、Kasteleyn）による扱いやすいイジングモデル推論を活用し、分配関数と尤度を効率的に計算する。
• 平面的イジングモデルにおける観測された2次モーメントの対数尤度を最大化する問題に学習問題を定式化する。
• 非ゼロ平均モデルの場合は、外平面的モデルを扱いやすいゼロ磁場平面的モデルに写像する補助ノードのテクニックを用いる。
• シミュレーションの妥当性検証のため、既知のモデルからギブスサンプリングを用いて実証データを生成する。

実験結果

リサーチクエスチョン

• RQ1 貪欲アルゴリズムは、与えられた二値確率変数の2次相関を最もよく近似する平面的イジングモデルを、効率的に学習できるか？
• RQ2 2次モーメントしか入手できない状況下で、この手法は真のグラフィカル構造をどれほど正確に回復できるか？
• RQ3 この手法は、扱いやすい推論が可能な外平面的グラフ上での非ゼロ平均イジングモデルをモデル化するために拡張可能か？
• RQ4 この手法は、米国上院の投票行動のような現実の依存関係をどれほど正確に捉えられるか？
• RQ5 サンプルサイズの増加が、グラフィカルモデル回復の正確性に与える影響は何か？

主な発見

• 10^5個のサンプルでは、シミュレーションで元の平面的グラフィカルモデルを完全に回復した。
• 10^4個のサンプルでは、ゼロ磁場平面的および非ゼロ磁場外平面的イジングモデルの両方で、真のモデルを正確に回復した。
• 米国上院の投票データに対して、学習された平面的グラフは、与党の所属関係や合同会議のパターン（例：サンダースとライバーマンが民主党員にのみ接続）を正しく捉えた。
• 回復されたモデルにおける誤ったエッジ数は、サンプルサイズの増加に伴い著しく減少し、10^3個のサンプルでは0.18であったのに対し、10^4個では0となった。
• この手法はマコーレンがレパブリック党員と強く接続されていること、リードはやや中心的でないことを正しく同定した。これは、既知の政治的ダイナミクスと整合的であった。
• アルゴリズムの性能は頑健でスケーラブルであり、十分なサンプリング下で正確な回復が確認された。