[論文レビュー] Efficiently learning Ising models on high degree graphs.

Guy Bresler|arXiv (Cornell University)|Nov 22, 2014

Markov Chains and Monte Carlo Methods被引用数 2

ひとこと要約

この論文では、O(p²)時間で有界次数のグラフ上のイジングモデルの構造を学習する貪欲なアルゴリズムを提示している。これは全探索のO(p^d)の複雑さに比べて顕著に改善されたものである。主な洞察は、新しい構造的性質である。すべてのノードは、高い相互情報量を持つ少なくとも1つの隣接ノードを持つ。この性質により、モデルパラメータに制限を設けないで、効率的な近隣ノード同定が可能になる。

ABSTRACT

We consider the problem of reconstructing the graph underlying an Ising model from i.i.d. samples. Over the last fifteen years this problem has been of significant interest in the statistics, machine learning, and statistical physics communities, and much of the effort has been directed towards finding algorithms with low computational cost for various restricted classes of models. Nevertheless, for learning Ising models on general graphs with $p$ nodes of degree at most $d$, it is not known whether or not it is possible to improve upon the $p^{d}$ computation needed to exhaustively search over all possible neighborhoods for each node. In this paper we show that a simple greedy procedure allows to learn the structure of an Ising model on an arbitrary bounded-degree graph in time on the order of $p^2$. We make no assumptions on the parameters except what is necessary for identifiability of the model, and in particular the results hold at low-temperatures as well as for highly non-uniform models. The proof rests on a new structural property of Ising models: we show that for any node there exists at least one neighbor with which it has a high mutual information. This structural property may be of independent interest.

研究の動機と目的

• 特に高次元または複雑なモデルにおいて、イジングモデルのグラフ再構築にかかる計算コストの高さを克服すること。
• 相互作用パラメータに制限を設けず、一般の有界次数グラフ上で効率的に動作する手法を開発すること。
• イジングモデルに、相互情報量に基づく効率的学習を可能にする構造的性質を確立すること。

提案手法

• 各ノードの近隣ノードを、相互情報量を評価基準として用いる貪欲なアルゴリズムを繰り返し適用して同定する。
• 新しい構造的結果を活用する：有界次数のイジングモデルにおいて、すべてのノードは少なくとも1つの高い相互情報量を持つ隣接ノードを持つ。
• 独立同分布のサンプルから得られる対ごとの相互情報量推定値を用いて、全近隣探索を回避しながら近隣再構築をガイドする。
• 相互情報量のしきい値に基づく削減戦略を適用し、候補となる近隣ノードを効率的に削減する。
• 低温でも、非一様な相互作用強度を持つモデルでも、手法が有効に機能することを保証する。
• 相互情報量の性質を用いて、各ノードの候補近隣ノード数を上限付けることで、アルゴリズムがO(p²)時間で実行可能であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 有界次数のグラフにおいて、イジングモデル構造の学習の計算複雑性をO(p^d)未満に低下させることは可能か？
• RQ2 イジングモデルに、全探索を避けることのできる効率的な近隣ノード同定を可能にする構造的性質が存在するか？
• RQ3 相互情報量に基づく貪欲なアルゴリズムが、低温や非一様モデルを含む多様なパrameter領域でも、最適または近似的に最適な性能を達成できるか？
• RQ4 有界次数のイジングモデルにおいて、すべてのノードが高い相互情報量を持つ近隣ノードを持つという性質は、普遍的に成り立つか？
• RQ5 このような構造的性質を活用して、証明可能に効率的な学習アルゴリズムを設計できるか？

主な発見

• 提案された貪欲なアルゴリズムは、任意の有界次数のグラフ上で、O(p²)時間でイジングモデルの構造を学習でき、標準的なO(p^d)の全探索に比べて改善されている。
• この手法は、低温や極めて非一様な相互作用パラメータを持つモデルに対しても有効であり、パラメータに制限を設ける必要がない。
• 新しい構造的性質が証明された：有界次数のイジングモデルにおいて、すべてのノードは少なくとも1つの高い相互情報量を持つ隣接ノードを持つ。
• この構造的性質により、アルゴリズムは全近隣探索を回避でき、高情報量の近隣ノードに注目することで実現される。
• 相互情報量の性質を用いて、各ノードの候補近隣ノード数を上限付けることで、アルゴリズムの効率性が保証される。
• 識別可能性に必要な最小限の仮定の下で結果が成り立つため、この手法は広く適用可能である。