[論文レビュー] High-Dimensional Gaussian Graphical Model Selection: Walk Summability and Local Separation Criterion

Animashree Anandkumar, Vincent Y. F. Tan+1 more|arXiv (Cornell University)|Jul 6, 2011

Bayesian Modeling and Causal Inference参考文献 62被引用数 67

ひとこと要約

本稿では、高次元ガウスグラフィカルモデル選択のための計算的に効率的なアルゴリズム、条件付き分散閾値化（CCT）を提案する。ウォーク・サムラビリティおよび局所的分離条件の下で構造的一致性を確立し、$ n = \Omega(J_{\min}^{-2}\log p) $ 個の標本で構造の一致回復が可能であることを証明した。非漸近的標本複雑度下限が新たに導出された。

ABSTRACT

We consider the problem of high-dimensional Gaussian graphical model selection. We identify a set of graphs for which an efficient estimation algorithm exists, and this algorithm is based on thresholding of empirical conditional covariances. Under a set of transparent conditions, we establish structural consistency (or sparsistency) for the proposed algorithm, when the number of samples n=omega(J_{min}^{-2} log p), where p is the number of variables and J_{min} is the minimum (absolute) edge potential of the graphical model. The sufficient conditions for sparsistency are based on the notion of walk-summability of the model and the presence of sparse local vertex separators in the underlying graph. We also derive novel non-asymptotic necessary conditions on the number of samples required for sparsistency.

研究の動機と目的

• 高次元ガウスグラフィカルモデル選択が計算的に実行可能となるグラフ族を特定すること。
• 高次元設定における構造的一致性のための明確で解釈可能な条件を確立すること。
• ガウスグラフィカルモデル選択における任意の学習アルゴリズムの非漸近的標本複雑度下限を導出すること。
• ウォーク・サムラビリティと局所的頂点分離集合を、条件付き分散閾値化による効率的構造推定と結びつけること。
• 木構造型やスパースモデルを超えた、実行可能グラフィカルモデルの特徴付けを提供すること。

提案手法

• 条件付き独立性を経験的条件付き共分散を用いてテストする、条件付き分散閾値化（CCT）アルゴリズムを提案。
• サイズが最大 $ \eta $ である条件付き集合を用いて、経験的条件付き共分散 $ \widehat{\Sigma}(i,j|S) $ を閾値処理し、エッジを検出。
• 推定手順の安定性と収束性を保証するための主要な条件として、ウォーク・サムラビリティを導入。
• 局所的分離性の性質に依存し、グラフ内の局所的頂点分離集合のサイズが $ \eta $ で有界であることを仮定。
• 最小絶対エッジポテンシャル $ J_{\min} $ を用いた標本複雑度の上限を導出。$ n = \Omega(J_{\min}^{-2}\log p) $ が構造的一致性に十分であることを示した。
• ウォーク・サム解析とファノ型不等式を用いて、標本サイズの非漸近的必要条件を確立。

実験結果

リサーチクエスチョン

• RQ1 グラフィカルモデルの構造およびパラメータにどのような条件が課されると、高次元ガウスグラフィカルモデル選択が効率的かつ一貫して可能になるか？
• RQ2 ウォーク・サムラビリティは、ガウスグラフィカルモデルにおける構造学習の実行可能性とどのように関係するか？
• RQ3 単純な閾値処理に基づくアルゴリズムが、明確で解釈可能な条件下で構造的一致性を達成できるか？
• RQ4 高次元ガウスグラフィカルモデル選択における、一貫した構造回復の根本的な標本複雑度の限界は何か？
• RQ5 局所的頂点分離集合とグラフのスパarsityは、モデル選択に必要な標本数にどのように影響するか？

主な発見

• CCTアルゴリズムは、標本数が $ n = \Omega(J_{\min}^{-2}\log p) $ を満たす場合、最小絶対エッジポテンシャル $ J_{\min} $ に対して構造的一致性（スパースニス）を達成する。
• モデルのウォーク・サムラビリティが、条件付き分散閾値処理手順の安定性を保証し、一貫したエッジ検出を可能にする。
• スパースな局所的頂点分離集合（$ \eta $ で有界）の存在により、$ O(p^{\eta+2}) $ の計算複雑度で効率的な計算が可能となり、$ \eta $ が小さい場合にスケーラブルである。
• 本稿では非漸近的標本複雑度下限を導出し、一般条件下では $ \Omega(J_{\min}^{-2}\log p) $ 個の標本未満ではいかなるアルゴリズムでも成功できないことを示した。
• 本手法は、エラーズ・レニ、パワー・ロー、スモールワールド、および大径路径のグラフなど、幅広いグラフクラスに適用可能であり、これらは高確率で局所的分離性を満たす。
• 条件付き相互情報量のテストは関連するが、ガウスモデルでは提案された条件付き分散閾値処理よりもわずかに悪い標本複雑度を示す。