[論文レビュー] High Dimensional Structure Learning of Ising Models on Sparse Random Graphs

Animashree Anandkumar, Vincent Y. F. Tan+1 more|arXiv (Cornell University)|Oct 31, 2010

Markov Chains and Monte Carlo Methods参考文献 43被引用数 11

ひとこと要約

本稿では、相関減衰下でのスパースな Erdos-Renyi ランダムグラフ上の強磁性イジング模型の構造学習のための局所的アルゴリズムを提案する。条件付き相互情報量テストを用いた構造学習は、ω(log n) 個のサンプルと O(n⁴) の計算量で一貫性を示し、相関しきい値処理は Ω(log n) 個のサンプルで定数編集距離内の結果を得ることを示し、相関減衰領域全体でほぼ最適なサンプル複雑性を実証する。

ABSTRACT

We consider the problem of learning the structure of ferromagnetic Ising models Markov on sparse Erdos-Renyi random graph. We propose simple local algorithms and analyze their performance in the regime of correlation decay. We prove that an algorithm based on a set of conditional mutual information tests is consistent for structure learning throughout the regime of correlation decay. This algorithm requires the number of samples to scale as ω(\log n), and has a computational complexity of O(n^4). A simpler algorithm based on correlation thresholding outputs a graph with a constant edit distance to the original graph when there is correlation decay, and the number of samples required is Ω(\log n). Under a more stringent condition, correlation thresholding is consistent for structure estimation. We finally prove a lower bound that Ω(c\log n) samples are also needed for consistent reconstruction of random graphs by any algorithm with positive probability, where c is the average degree. Thus, we establish that consistent structure estimation is possible with almost order-optimal sample complexity throughout the regime of correlation decay.

研究の動機と目的

• スパースな Erdos-Renyi ランダムグラフ上の強磁性イジング模型における構造学習のための単純で局所的なアルゴリズムの開発。
• 相関減衰の領域におけるこれらのアルゴリズムの性能の分析。
• 一貫性のある構造推定のためのサンプル複雑性と計算効率の境界の確立。
• 任意のアルゴリズムが正の確率でグラフを再構築できるために必要となる Ω(c log n) 個のサンプルが、下界として示されることの証明。

提案手法

• 構造学習のコアメカニズムとして条件付き相互情報量テストを用い、相関減衰領域全体で一貫性を保証する。
• 相関減衰下でのアルゴリズムの性能を分析し、ω(log n) 個のサンプルと O(n⁴) の計算量を示す。
• より単純な相関しきい値処理アルゴリズムを提案し、相関減衰下で真のグラフからの編集距離が定数である結果を得ることを示す。
• 相関減衰よりも強い条件下で、相関しきい値処理の構造推定における一貫性を証明する。
• 任意のアルゴリズムが正の確率でグラフを再構築できるために必要となる Ω(c log n) 個のサンプルが、下界として示されることを導出する。ここで c は平均次数を表す。
• 理論的分析をランダムグラフとイジング模型の性質と組み合わせ、サンプル複雑性と計算複雑性のタイトな境界を確立する。

実験結果

リサーチクエスチョン

• RQ1 相関減衰下で、局所的アルゴリズムはスパースな Erdos-Renyi グラフ上の強磁性イジング模型で一貫性のある構造学習を達成できるか？
• RQ2 この設定における一貫性のある構造推定に必要な最小のサンプル複雑性は何か？
• RQ3 精度と効率の観点から、相関しきい値処理は、より複雑な条件付き相互情報量手法と比べてどのように異なるか？
• RQ4 ランダムグラフにおける一貫性のある再構築に必要なサンプル数に、根本的な下界は存在するか？
• RQ5 提案されたアルゴリズムは、低コストの計算量を維持しながら、ほぼ最適なサンプル複雑性を達成できるか？

主な発見

• 条件付き相互情報量に基づくアルゴリズムは、ω(log n) 個のサンプルと O(n⁴) の計算量で一貫性のある構造学習を達成する。
• 相関しきい値処理は、相関減衰下で真のグラフからの編集距離が定数である結果を得られ、わずか Ω(log n) 個のサンプルで十分である。
• 相関減衰よりも強い条件下で、相関しきい値処理は構造推定において明示的に一貫性を持つことが証明される。
• 任意のアルゴリズムが正の確率でグラフを再構築できるために必要となる Ω(c log n) 個のサンプルが、下界として確立された。ここで c は平均次数を表す。
• 本稿では、相関減衰領域全体にわたり、一貫性のある構造推定がほぼオーダー最適なサンプル複雑性で達成可能であることを示している。
• 結果として、単純で局所的なアルゴリズムが、スパースなイジング模型における構造学習において、サンプル複雑性と計算効率の観点でほぼ最適な性能を達成できることを示している。