[論文レビュー] Structure learning of antiferromagnetic Ising models

Guy Bresler, David Gamarnik+1 more|arXiv (Cornell University)|Dec 3, 2014

Bayesian Modeling and Causal Inference参考文献 26被引用数 14

ひとこと要約

本稿では、最大次数 $d$ の一般の離散的無向グラフィカルモデルの構造学習に対して、統計的アルゴリズムを用いた計算下界を $Ω(p^{d/2})$ として確立し、全探索がほぼ最適であることを示している。さらに、強い反発力を持つ反強磁性イジングモデルのクラスを導入し、その場合において構造学習が $;(p^2)$ 時間で達成可能であることを示しており、強磁性または一般のモデルと対照的である。

ABSTRACT

In this paper we investigate the computational complexity of learning the graph structure underlying a discrete undirected graphical model from i.i.d. samples. We first observe that the notoriously difficult problem of learning parities with noise can be captured as a special case of learning graphical models. This leads to an unconditional computational lower bound of $Ω(p^{d/2})$ for learning general graphical models on $p$ nodes of maximum degree $d$, for the class of so-called statistical algorithms recently introduced by Feldman et al (2013). The lower bound suggests that the $O(p^d)$ runtime required to exhaustively search over neighborhoods cannot be significantly improved without restricting the class of models. Aside from structural assumptions on the graph such as it being a tree, hypertree, tree-like, etc., many recent papers on structure learning assume that the model has the correlation decay property. Indeed, focusing on ferromagnetic Ising models, Bento and Montanari (2009) showed that all known low-complexity algorithms fail to learn simple graphs when the interaction strength exceeds a number related to the correlation decay threshold. Our second set of results gives a class of repelling (antiferromagnetic) models that have the opposite behavior: very strong interaction allows efficient learning in time $O(p^2)$. We provide an algorithm whose performance interpolates between $O(p^2)$ and $O(p^{d+2})$ depending on the strength of the repulsion.

研究の動機と目的

• i.i.d. サンプルからグラフィカルモデルの構造を学習する際の計算複雑性を特定すること。
• 有界次数を持つ一般のグラフィカルモデルの学習における統計的アルゴリズムの下界を確立すること。
• 一般の難易度にもかかわらず、構造学習が tractable になる条件を同定すること。
• 相互作用の種類（特に反強磁性対強磁性）が計算複雑性に与える影響を調査すること。
• 強い反発力を持つ反強磁性イジングモデルにおいて、効率的学習アルゴリズムが可能であることを示すこと。

提案手法

• Feldman らの統計的クエリモデルを用いて、構造学習の計算複雑性を分析する。
• 構造学習問題を、ノイズ付きパリティを学習する問題と同等の難易度の問題に還元する。
• 硬いインスタンスをモデル化するため、サイズ $d$ の部分集合上のソフトパリティ分布の族を構築する。
• 平均相関を伴う統計次元フレームワークを適用し、クエリ複雑度の下界を導出する。
• 相互作用の強さに応じて $\widetilde{O}(p^2)$ から $\widetilde{O}(p^{d+2})$ の間を補間する新しいアルゴリズムを設計する。
• 相関崩壊解析を用いて、強い反発力が高速混合を引き起こし、効率的学習を可能にすることを示す。

実験結果

リサーチクエスチョン

• RQ1 最大次数 $d$ の一般のグラフィカルモデルの構造学習は、$p^{d}$ より著しく低い時間で行えるか？
• RQ2 最適なサンプル複雑度でさえも、一般モデルの学習に根本的な計算的障壁があるか？
• RQ3 強い反発力を持つ反強磁性イジングモデルでは、一般の難易度にもかかわらず、構造学習が効率的に可能か？
• RQ4 相互作用の強さが、イジングモデルにおける構造学習の計算複雑度にどのように影響するか？
• RQ5 相関崩壊の性質を、強力な反発力に置き換えることで、 tractable な学習が可能になるか？

主な発見

• 最大次数 $d$ の一般のグラフィカルモデルを学習する統計的アルゴリズムに対して、$\Omega(p^{d/2})$ の無条件的な計算下界を確立し、$\widetilde{O}(p^{d+2})$ の全探索がほぼ最適であることを示している。
• 難易度結果は、ノイズ付きパリティを学習する問題に起因しており、構造的仮定がなければ既知のアルゴリズム的手法が本質的に制限されることを示している。
• 強い反発力を持つ反強磁性イジングモデルでは、構造学習が $\widetilde{O}(p^2)$ 時間で達成可能であり、一般の場合よりも著しく高速である。
• 提案されたアルゴリズムの実行時間は相互作用の強さに依存し、反発力が弱まるにつれて $\widetilde{O}(p^2)$ から $\widetilde{O}(p^{d+2})$ の間で補間される。
• 強い反発力は、効果的な非相関性を誘発し、効率的学習を可能にするが、相関崩壊の閾値を超えると低複雑度アルゴリズムが反強磁性モデルで失敗することと対照的である。
• 統計次元フレームワークにより、硬いインスタンス族（ソフトパリティ）が高複雑性であることが確認され、下界の妥当性が裏付けられている。