[論文レビュー] High-Dimensional Gaussian Graphical Model Selection: Tractable Graph Families

Animashree Anandkumar, Vincent Y. F. Tan+1 more|arXiv (Cornell University)|Jul 6, 2011

Bayesian Modeling and Causal Inference参考文献 55被引用数 11

ひとこと要約

本稿では、経験的条件付き分散共分散のしきい値処理を用いて、高次元ガウスグラフィカルモデル選択のための扱いやすいアルゴリズムを提案する。ウォーク合計性とスパース局所的頂点分離集合の下で構造的一致性（スパース一致性）を確立し、n = ω(J_min log p) 個の標本を要する。非漸近的標本複雑性の上限が新たに導出された。

ABSTRACT

We consider the problem of high-dimensional Gaussian graphical model selection. We identify a set of graphs for which an efficient estimation algorithm exists, and this algorithm is based on thresholding of empirical conditional covariances. Under a set of transparent conditions, we establish structural consistency (or sparsistency) for the proposed algorithm, when the number of samples n = ω(J min log p), where p is the number of variables and Jmin is the minimum (absolute) edge potential of the graphical model. The sufficient conditions for sparsistency are based on the notion of walk-summability of the model and the presence of sparse local vertex separators in the underlying graph. We also derive novel non-asymptotic necessary conditions on the number of samples required for sparsistency.

研究の動機と目的

• 高次元ガウスグラフィカルモデルにおいて、効率的かつ一貫性のある構造学習が可能なグラフ族を同定すること。
• 高次元設定における構造的一致性（スパース一致性）のための標本サイズの十分かつ必要条件を確立すること。
• ウォーク合計性とスパース局所的頂点分離集合が、効率的な推定を可能にする役割を特定すること。
• スパース一致性のための非漸近的標本複雑性の上限を導出すること。これにより、従来の漸近的結果を改善する。

提案手法

• 本手法は、グラフィカルモデルの構造を推定するために、経験的条件付き分散共分散のしきい値処理を採用する。
• 推定量の安定性と一貫性を保証するために、精度行列のウォーク合計性の概念に依存する。
• グラフ内にスパース局所的頂点分離集合が存在することを活用して、計算複雑性を低減する。
• ウォーク合計性とスパース局所的頂点分離集合の下で、n = ω(J_min log p) の標本数が構造的一致性を保証する条件として導出される。ここで、J_min は最小絶対エッジポテンシャルである。
• 情報理論的およびグラフ理論的ツールを用いて、標本サイズに関する非漸近的必要条件を導出する。
• 特定のグラフクラスに対して、計算的に扱いやすく、スケーラブルな構造学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 どの高次元ガウスグラフィカルモデル族が、条件付き分散共分散のしきい値処理によって、効率的かつ一貫性のある構造学習を可能にするか？
• RQ2 構造的一致性を保証するためのモデル構造（例：ウォーク合計性、頂点分離集合）に関する十分条件は何か？
• RQ3 一貫性のある構造回復のための必要標本数は、変数の数と最小エッジポテンシャル J_min に対してどのようにスケーリングされるか？
• RQ4 高次元設定においてスパース一致性を達成するための非漸近的最小標本数の下限は何か？

主な発見

• 提案されたしきい値処理ベースのアルゴリズムは、ウォーク合計性とスパース局所的頂点分離集合の下で構造的一致性（スパース一致性）を達成する。
• 一貫性のある構造回復のためには、n = ω(J_min log p) 個の標本が必要であり、ここで J_min は最小絶対エッジポテンシャルである。
• モデルのウォーク合計性は、条件付き分散共分散のしきい値処理推定量の安定性と一貫性を保証する主要な十分条件である。
• グラフ内にスパース局所的頂点分離集合が存在することは、計算の効率化を図り、標本効率を向上させる。
• 非漸近的必要条件として、新たな標本サイズの下限が導出され、スパース一致性に必要な最小標本数の tighter な境界が得られた。
• 結果として、グラフのトポロジー（分離集合およびウォーク合計性を介して）と高次元構造学習の可能性との明確な関連性が確立された。