[論文レビュー] High-dimensional covariance estimation based on Gaussian graphical models

Shuheng Zhou, Philipp Rütimann+2 more|arXiv (Cornell University)|Sep 2, 2010

Statistical Methods and Inference参考文献 43被引用数 93

ひとこと要約

本稿では、ガウス graphical モデルを用いた高次元共分散推定のための2段階手法GELATOを提案する。まず、スパースなグラフィカル構造を回復するために、しきい値処理を施したLassoベースのノードワイズ回帰を適用し、その後、罰則なしの最尤推定を用いて共分散行列および精度行列を推定する。スパarsity 条件下では、GLasso や SCAD 推定器と比較して、より速い収束速度と、作用素ノルムおよびフロベニウスノルムにおけるより優れた一貫性を達成する。

ABSTRACT

Undirected graphs are often used to describe high dimensional distributions. Under sparsity conditions, the graph can be estimated using $\ell_1$-penalization methods. We propose and study the following method. We combine a multiple regression approach with ideas of thresholding and refitting: first we infer a sparse undirected graphical model structure via thresholding of each among many $\ell_1$-norm penalized regression functions; we then estimate the covariance matrix and its inverse using the maximum likelihood estimator. We show that under suitable conditions, this approach yields consistent estimation in terms of graphical structure and fast convergence rates with respect to the operator and Frobenius norm for the covariance matrix and its inverse. We also derive an explicit bound for the Kullback Leibler divergence.

研究の動機と目的

• 次元数 p が標本サイズ n よりも著しく大きい状況において、高次元共分散行列および精度行列の一貫性があり、効率的な推定器を開発すること。
• GLasso などの既存の L1-罰則付き手法を改善し、バイアスを低減し、構造選択の正確性を高めること。
• より弱い正則性条件の下で、グラフ構造回復、共分散推定、予測リスクの一貫性に関する理論的保証を確立すること。
• スパarsity 制約下で、GLasso や SCAD 型推定器と比較して、より速い収束速度を達成できることを示すこと。
• GLasso よりも優れた経験的性能と理論的頑健性を備えた、実用的で計算効率の良い代替手法を提供すること。

提案手法

• 本手法は、高次元ガウス graphical モデルにおける条件付き独立構造を推定するために、L1-罰則付きのノードワイズ回帰を用いる。
• Lasso推定量に対してしきい値処理を施し、グラフィカル構造を精緻化し、誤ったエッジを除去する。
• 最終的な共分散行列および精度行列は、推定されたスパースなグラフ構造に基づいて最尤推定により得られる。
• 変数選択のための制限的な近隣安定性条件や不可代表性条件を回避し、制限付き固有値条件を活用する。
• 理論的分析は、スパース固有値の集中不等式および推定誤差の高確率的制御に依存する。
• 本手法は置換不変であり、自然な変数順序が存在しない状況を想定して設計されている。

実験結果

リサーチクエスチョン

• RQ1 Lasso としきい値処理を組み合わせた2段階手法は、高次元共分散推定において、GLasso などの単一段階 L1-罰則付き推定器と比較して、より速い収束速度を達成できるか？
• RQ2 Lasso推定量のしきい値処理は、標準的な GLasso と比較して、グラフ構造回復の一貫性を向上させるか？
• RQ3 スパarsity 条件下で、共分散行列および精度行列の両方について、作用素ノルムおよびフロベニウスノルムにおける収束速度が速くなるか？
• RQ4 推定されたグラフを入力として使用する場合、予測リスクの一貫性およびKullback-Leibler 散逸の理論的保証は何か？
• RQ5 特に真の条件付き独立構造を回復するという観点で、GLasso や Space と比較して、本手法の経験的性能はいかがなものか？

主な発見

• GELATO 手法は、スパarsity 制約下で、GLasso や SCAD 型推定器と比較して、推定された精度行列の作用素ノルムおよびフロベニウスノルムにおける収束速度が速い。
• 本手法は、グラフ構造選択の一貫性および予測リスクの一貫性を保証しており、グラフが正確に知られていない場合でも成立する。
• 真のモデルと推定モデルとの間のKullback-Leibler 散逸は、スパarsity 水準および制限付き固有値条件に依存する項によって有界である。
• 理論的分析により、本手法の誤差バウンドが精度行列の非ゼロ要素数に有利にスケーリングされることを示した。これは、既存の結果を改善するものである。
• 経験的結果により、GELATO は多くの場合、GLasso を上回る性能を示し、計算複雑度は同等であり、著しく劣ることはない。
• 本手法はモデル誤指定に対して頑健であり、真のグラフが正確に回復可能でない場合でも、強力な性能を維持する。