[論文レビュー] Learning Graph Structure in Discrete Markov Random Fields

Rui Wu, R. Srikant+1 more|arXiv (Cornell University)|Apr 25, 2012

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

本稿では、ノード間の短いパスが少ない（疎接続性が高い）マーコフ確率場（MRF）— つまり、ノード対間の短いパスが少ないグラフ — の構造を学習するための、新たな条件付き独立性検定に基づくアルゴリズムを提案する。この手法の最大化ステップにより、短いサイクルが存在する状況下でも正確なエッジ検出が保証される。アルゴリズムは O(C log p) のサンプルを要し、先行研究の手法と同等または低い計算量を達成する。また、Erdős-Rényi 確率グラフ G(p, c/p) 上の一般化されたイジングモデルについて、O(np^5) の時間で構造を正しく学習できる。

ABSTRACT

We consider the structure learning problem for graphical models that we call loosely connected Markov random fields, in which the number of short paths between any pair of nodes is small, and present a new conditional independence test based algorithm for learning the underlying graph structure. The novel maximization step in our algorithm ensures that the true edges are detected correctly even when there are short cycles in the graph. The number of samples required by our algorithm is C*log p, where p is the size of the graph and the constant C depends on the parameters of the model. We show that several previously studied models are examples of loosely connected Markov random fields, and our algorithm achieves the same or lower computational complexity than the previously designed algorithms for individual cases. We also get new results for more general graphical models, in particular, our algorithm learns general Ising models on the Erdos-Renyi random graph G(p, c/p) correctly with running time O(np^5).

研究の動機と目的

• 短いパスが少ない（疎接続性が高い）マーコフ確率場におけるグラフィカルモデル構造学習の課題に取り組む。
• 短いサイクルが存在するグラフにおいても精度を維持できる、条件付き独立性検定に基づくアルゴリズムを開発する。
• 特定のモデルに対して既存手法と比較して計算量を低減しつつ、より広範なグラフィカルモデルクラスに一般化できるようにする。
• 疎接続性の高い MRF における構造学習のサンプル複雑度を O(C log p) として確立する。
• Erdős-Rényi 確率グラフ上での一般化されたイジングモデルに対して、本アルゴリズムの有効性を示す。

提案手法

• ノード対間の短いパスが少ない（疎接続性が高い）マーコフ確率場に特化した、新たな条件付き独立性検定に基づくアルゴリズムを提案する。
• 短いサイクルを含むグラフにおいてもエッジ検出精度を向上させる、独創的な最大化ステップを導入する。
• O(C log p) のサンプルで十分であることを示すサンプル複雑度解析を実施し、ここで C はモデルパラメータに依存する。
• Erdős-Rényi 確率グラフ G(p, c/p) 上の一般化されたイジングモデルに本アルゴリズムを適用し、O(np^5) の実行時間で処理を達成する。
• 疎接続性の高いグラフの構造的制約を活用して、一般手法と比較して計算オーバーヘッドを低減する。
• 条件付き独立性検定をコアな推論メカニズムとして採用し、サイクル依存性が存在する状況でも正しさを保つ最適化を実施する。

実験結果

リサーチクエスチョン

• RQ1 マーコフ確率場における構造学習アルゴリズムは、元のグラフに短いサイクルが存在する場合でも高い精度を維持できるか？
• RQ2 疎接続性の高い MRF におけるグラフ構造学習に必要な最小サンプル数はどの程度か？
• RQ3 本手法は、特定のサブクラス MRF 専用に設計された先行手法と比較して、計算効率に優れているか？
• RQ4 本アルゴリズムは、Erdős-Rényi 確率グラフ上のイジングモデルのような、より広範なグラフィカルモデルクラスに対しても構造学習を可能にするか？
• RQ5 一般化されたイジングモデルを Erdős-Rényi 確率グラフに適用した際の実行時間複雑度はどの程度か？

主な発見

• 本アルゴリズムは、C がモデルパラメータに依存する O(C log p) のサンプル複雑度で、疎接続性の高いマーコフ確率場における正しく構造学習を達成する。
• 独創的な最大化ステップにより、グラフに短いサイクルが存在する場合でも、真のエッジを正確に検出できる。
• 本手法は、個々のモデルタイプに特化して設計された先行手法と同等またはそれ以上の計算量の効率性を達成する。
• Erdős-Rényi 確率グラフ G(p, c/p) 上の一般化されたイジングモデルに対して、O(np^5) の実行時間で処理が可能であり、スパarsな確率グラフ上での効率的学習を実現する。
• 本手法は、これまでに研究された特殊ケースを越えて、より広範なグラフィカルモデルクラスへ一般化可能である。
• 本アルゴリズムは、現実的なサンプリング制約下でも、スパarsかつ疎接続性の高い構造の学習において、頑健性と効率性を示している。