[論文レビュー] Estimating Undirected Graphs Under Weak Assumptions

Larry Wasserman, Mladen Kolar+1 more|arXiv (Cornell University)|Sep 26, 2013

Statistical Methods and Inference参考文献 3被引用数 13

ひとこと要約

本稿は、スパarsity、正規性、一貫性の仮定を必要としない弱い仮定の下で、有効な信頼保証を伴う非パラメトリックな無向グラフィカルモデル推定法を提案する。中程度の次元（D_n < n）ではブートストラップとデルタ法を用い、Berry-Esseen型の誤差バウンドO(log D_n / n^{1/8})を達成する。高次元設定（D_n > n）では、クラスターモデル、制限付き部分相関グラフ、相関グラフといった代替的グラフ型を導入する。

ABSTRACT

We consider the problem of providing nonparametric confidence guarantees for undirected graphs under weak assumptions. In particular, we do not assume sparsity, incoherence or Normality. We allow the dimension $D$ to increase with the sample size $n$. First, we prove lower bounds that show that if we want accurate inferences with low assumptions then there are limitations on the dimension as a function of sample size. When the dimension increases slowly with sample size, we show that methods based on Normal approximations and on the bootstrap lead to valid inferences and we provide Berry-Esseen bounds on the accuracy of the Normal approximation. When the dimension is large relative to sample size, accurate inferences for graphs under low assumptions are not possible. Instead we propose to estimate something less demanding than the entire partial correlation graph. In particular, we consider: cluster graphs, restricted partial correlation graphs and correlation graphs.

研究の動機と目的

• 正規性、スパarsity、一貫性といった強いパラメトリック仮定に依存せずに、無向グラフィカルモデルの有効な信頼区間を提供すること。
• 次元D_nが標本サイズnとともに増加する状況において、グラフ推定の有限サンプルおよび漸近的誤差バウンドを確立すること。
• D_n > n となる高次元グラフ推定の課題に対し、クラスターグラフや相関グラフといった、より要求の少ないグラフ表現の代替案を提案すること。
• 次元が増加する設定において、デルタ法およびブートストラップの正規近似に対する明示的なBerry-Esseen型バウンドを導出し、弱い条件下でも有効な推論を保証すること。

提案手法

• 中次元領域（D_n < n）において、D_nがnとともに増加する条件下で、部分相関の信頼区間を構築するためにブートストラップとデルタ法を用いる。
• 標本部分相関推定量の漸近的正規性を用い、近似誤差の有限サンプルBerry-Esseenバウンドを導出する。
• 修正された検定統計量Z_jk = √n(θ̂_jk - θ_jk)/ŝ_jkを導入し、集中不等式を用いて標準正規分布関数からのsup-norm偏差をバウンドする。
• 高次元設定（D_n > n）では、簡略化されたグラフ構造の推定を提案する：クラスターグラフ（ノードのグループ化）、制限付き部分相関グラフ（エッジ集合の制限）、相関グラフ（ペアワイズ相関）。
• すべての部分相関区間の同時被覆確率バウンドを、和集合の不等式を用いて導出し、誤差項としてO(D²(√(ρ_n/n) log(nD²) + γ_n/√n log(nD²)))を得る。
• 最近の高次元中心極限定理（Chernozhukovら）を応用し、弱い自己相関およびモーメント条件の下で正規近似の誤差を制御する。

実験結果

リサーチクエスチョン

• RQ1 スパarsity、正規性、一貫性の仮定をしないで、無向グラフィカルモデルの有効な信頼区間を構築できるか？
• RQ2 弱い仮定の下で、信頼性のあるグラフ推定が可能となる次元（D_n）と標本サイズ（n）の根本的限界は何か？
• RQ3 D_nがnとともに増加するがn未満の状況において、デルタ法およびブートストラップをどのように適合させれば、正確な推論が可能か？
• RQ4 D_nがnを超える場合、完全な部分相関グラフ推定が不可能であるとしても、どのような代替的グラフ表現が実現可能で統計的に妥当か？
• RQ5 次元が増加する高次元設定において、正規近似の明示的非漸近的誤差バウンドはどのように導出可能か？

主な発見

• 中次元（D_n < n）では、ブートストラップとデルタ法により、部分相関の信頼区間が有効に得られ、被覆誤差がO(log D_n / n^{1/8})でバウンドされる。
• デルタ法およびブートストラップにおける正規近似に対するBerry-Esseen型バウンドが確立され、誤差項はO(√(ρ_n/n) log(nD²) + γ_n/√n log(nD²))とスケーリングされる。
• 有限サンプルの信頼区間は理論的には可能であるが、高次元設定では実用的であるほどに過剰に保守的であることが判明した。
• D_n > n の場合、弱い仮定の下では完全な部分相関グラフ推定は不可能である。代わりに、クラスターグラフ、制限付き部分相関グラフ、相関グラフが実用的で妥当な代替案として提案される。
• すべての部分相関区間の同時被覆確率は、1 - α + D²[√(ρ_n/n) log(nD²) + γ_n/√n log(nD²)]でバウンドされ、次元の増加が誤差制御に与える影響が明確に示された。
• 結果は、弱い仮定の下で有効な推論が可能となるのは、D_nがnに対してゆっくりと増加する場合に限られ、第4節における下界による鋭い限界が確立された。