[論文レビュー] Information-theoretic limits of selecting binary graphical models in high dimensions

Narayana Santhanam, Martin J. Wainwright|ArXiv.org|May 16, 2009

Bayesian Modeling and Causal Inference参考文献 22被引用数 14

ひとこと要約

この論文は、高次元設定における二値グラフィカルモデル（イジングモデル）の選択について、情報理論的限界を確立し、正しいグラフ回復の鋭い閾値を導出する。$k$本以下の辺をもつグラフに対しては、$n \gtrsim k\log p$ のサンプルが必要であり、$n \gtrsim k^2\log p$ が高確率での回復に十分である。最大次数 $d$ の有界次数グラフに対しては、それぞれ $n \gtrsim d^2\log p$ と $n \gtrsim d^3\log p$ が閾値となる。

ABSTRACT

The problem of graphical model selection is to correctly estimate the graph structure of a Markov random field given samples from the underlying distribution. We analyze the information-theoretic limitations of the problem of graph selection for binary Markov random fields under high-dimensional scaling, in which the graph size $p$ and the number of edges $k$, and/or the maximal node degree $d$ are allowed to increase to infinity as a function of the sample size $n$. For pairwise binary Markov random fields, we derive both necessary and sufficient conditions for correct graph selection over the class $\mathcal{G}_{p,k}$ of graphs on $p$ vertices with at most $k$ edges, and over the class $\mathcal{G}_{p,d}$ of graphs on $p$ vertices with maximum degree at most $d$. For the class $\mathcal{G}_{p, k}$, we establish the existence of constants $c$ and $c'$ such that if $ umobs < c k \log p$, any method has error probability at least 1/2 uniformly over the family, and we demonstrate a graph decoder that succeeds with high probability uniformly over the family for sample sizes $ umobs > c' k^2 \log p$. Similarly, for the class $\mathcal{G}_{p,d}$, we exhibit constants $c$ and $c'$ such that for $n < c d^2 \log p$, any method fails with probability at least 1/2, and we demonstrate a graph decoder that succeeds with high probability for $n > c' d^3 \log p$.

研究の動機と目的

• 高次元設定における2値マークフ・ランダムフィールド（イジングモデル）のグラフ構造を正確に回復するための根本的サンプルサイズ要件を特定すること。
• 辺数が有限（$\mathcal{G}_{p,k}$）および最大次数が有限（$\mathcal{G}_{p,d}$）なグラフクラスにおけるグラフ選択の必要十分条件を確立すること。
• 回復が不可能な場合と高確率で可能となる場合を分ける、鋭い情報理論的閾値を導出すること。
• 特定のアルゴリズムや計算制約に依存しない、高次元グラフィカルモデル選択における統計的推論の根本的限界を分析すること。

提案手法

• Fanoの不等式を用いて必要条件を導出し、$\mathcal{G}_{p,k}$ に対しては $n < c k \log p$、$\mathcal{G}_{p,d}$ に対しては $n < c d^2 \log p$ の場合、任意の手法が確率 $1/2$ 以上で失敗することを示す。
• 経験的対数尤度比に基づくグラフデコーダと事後確率最大化推定を用いて、高確率での回復に十分な条件を実証する。
• スピン配置を反転させたときの十分統計量 $\Delta(x)$ の変化を制限する、新しいフリッピング補題を導入し、エッジ固有のパrameter $\theta_{st}$ が $\Delta(x)$ の変化に少なくとも $|\theta_{st}|$ の寄与をすることが証明される。
• Kullback-Leibler発散とグラフ距離測度を用いて、統計的仮説検定誤差と構造的回復誤差の関係を定式化する。
• フリッピング補題の証明において背理法を適用し、$\Delta(x)$ がスピン反転に対して不変であるならば $\theta_{st} = 0$ でなければならないが、これは異なるモデルの仮定に反する。
• すべての配置 $x \in \{-1,+1\}^p$ における十分統計量 $\Delta(x)$ の振る舞いを分析し、異なるグラフの分布間の全 Variation 距離を制限する。

実験結果

リサーチクエスチョン

• RQ1 $p$, $k$, $d$ が増大する際、高次元で2値マークフ・ランダムフィールドの正しいグラフ構造を高確率で回復するための最小サンプルサイズ $n$ は何か？
• RQ2 構造的パラメータ $k$（辺数）と $d$（最大次数）は、グラフ選択の情報理論的限界にどのように影響を与えるか？
• RQ3 回復が不可能な領域と可能となる領域を明確に分ける鋭い閾値を確立できるか？
• RQ4 高次元イジングモデル選択において、サンプル複雑度とモデル複雑度の根本的トレードオフは何か？
• RQ5 2つの異なるグラフの十分統計量の差は、それらの分布の区別可能性にどのように影響するか？

主な発見

• 辺数が $k$ 以下のグラフクラス $\mathcal{G}_{p,k}$ に対して、ある定数 $c > 0$ に対して $n < c k \log p$ の場合、任意の手法が確率 $1/2$ 以上で失敗する。
• ある定数 $c' > 0$ に対して $n > c' k^2 \log p$ の場合、グラフデコーダが高確率で成功する。これは対数要因を除いてタイトな閾値を示している。
• 最大次数が $d$ のグラフクラス $\mathcal{G}_{p,d}$ に対して、ある定数 $c > 0$ に対して $n < c d^2 \log p$ の場合、任意の手法が確率 $1/2$ 以上で失敗する。
• ある定数 $c' > 0$ に対して $n > c' d^3 \log p$ の場合、グラフデコーダが高確率で成功する。これは十分条件における $d$ の立方依存性を示している。
• フリッピング補題により、エッジ $(s,t)$ に接続されたノードのスピンを反転させると、十分統計量 $\Delta(x)$ は少なくとも $|\theta_{st}|$ だけ変化することが証明され、これがモデルの区別に不可欠である。
• 解析により、イジングモデル選択の情報理論的容量は、辺数、最大次数、およびサンプルサイズの間の相互作用によって根本的に制限されており、構造的制約に応じて異なるスケーリング則が成立することが明らかになった。