[論文レビュー] Which graphical models are difficult to learn?

José Bento, Andrea Montanari|ArXiv.org|Oct 30, 2009

Bayesian Modeling and Causal Inference参考文献 12被引用数 32

ひとこと要約

この論文は、特定のグラフィカルモデル—特に強磁性イジング模型—が、低複雑性のアルゴリズムを用いて学習することが困難になる理由を調査している。アルゴリズムの失敗は、高エネルギー相互作用強度θによって生じる長距離相関に起因し、特に相転移の閾値付近またはそれを超える領域で顕著になる。これは、十分なサンプル数と計算リソースがあれば理論的には解ける構造学習問題であるにもかかわらずである。

ABSTRACT

We consider the problem of learning the structure of Ising models (pairwise binary Markov random fields) from i.i.d. samples. While several methods have been proposed to accomplish this task, their relative merits and limitations remain somewhat obscure. By analyzing a number of concrete examples, we show that low-complexity algorithms systematically fail when the Markov random field develops long-range correlations. More precisely, this phenomenon appears to be related to the Ising model phase transition (although it does not coincide with it).

研究の動機と目的

• i.i.d. サンプルからイジング模型の構造を学習する際の低複雑性アルゴリズムの限界を理解すること。
• グラフィカルモデルにおける長距離相関と一般的な学習アルゴリズムの失敗との関係を調査すること。
• 相互作用強度θとグラフ構造を関数として、学習アルゴリズムのサンプル複雑性と計算コストを特徴付けること。
• アルゴリズムの失敗が長距離相関の出現と強く相関することを示すこと、ただし相転移点と完全に一致するわけではないこと。
• さまざまなθとグラフ次数に対して、しきい値処理およびラッソベースのアルゴリズムのサンプル複雑性に関する理論的境界を提示すること。

提案手法

• 実験的対数相関をしきい値処理することでグラフを再構築するしきい値アルゴリズム（Thr(τ)）を分析する。
• 集中不等式と相関減衰性質を用いて、しきい値処理のサンプル複雑性に対する理論的境界を導出する。
• ℓ1正則化を用いた高次元回帰として定式化することで、ラッソベースの手法を構造学習に適用する。
• 局所的弱収束を用いて、大きなランダムグラフにおける真の精度行列を無限正則木の測度で近似する。
• 木構造のイジング模型における再帰的計算を用いて、精度行列の主要な構成要素と部分勾配条件を推定する。
• アルゴリズムの一貫性を証明するために不可欠な、精度行列の部分行列の最小固有値に対する下界を確立する。

実験結果

リサーチクエスチョン

• RQ1 低複雑性のアルゴリズムがイジング模型の真のグラフ構造を回復できない条件は何か？
• RQ2 アルゴリズムの失敗は、モデル内での長距離相関の出現とどのように関係しているか？
• RQ3 しきい値処理およびラッソベースのアルゴリズムの失敗は、イジング模型の相転移と一致するか？
• RQ4 サンプル複雑性は、相互作用強度θと最大次数Δにどのように依存するか？
• RQ5 有界次数のグラフにおいて、しきい値処理およびラッソアルゴリズムのサンプル複雑性に関する理論的境界を導出できるか？

主な発見

• Δ > 1 である有界次数のグラフでは、θ < atanh(1/(2Δ)) のとき、しきい値アルゴリズムは成功し、サンプル複雑性は O(log p / (tanh θ - 1/(2Δ))²) で有界である。
• θ > K/Δ（ある定数Kに対して）かつ Δ > 3 のとき、特定のグラフではしきい値アルゴリズムが失敗し、無限のサンプル複雑性を要する。
• 長距離相関が出現すると、より洗練されたしきい値処理よりもラッソベースのアルゴリズムでも失敗する。
• 低複雑性のアルゴリズムの失敗は、長距離相関の出現と強く相関しており、これは相転移点と完全に一致するわけではないが、その付近で発生する。
• 理論的分析により、木の測度への弱収束下で、精度行列の部分行列の最小固有値がゼロから離れていることが示され、一貫性の証明が可能になる。
• 局所的弱収束により、大きなランダムグラフにおける主要な行列成分を、正則木における再帰的計算に還元することで正確に計算できる。