[論文レビュー] Exact covariance thresholding into connected components for large-scale Graphical Lasso

Rahul Mazumder, Trevor Hastie|arXiv (Cornell University)|Aug 18, 2011

Statistical Methods and Inference参考文献 21被引用数 122

ひとこと要約

本稿では、正則化パrameter λ における標本分散共分散行列のしきい値処理によって大規模な精度行列推定を分解する、計算的に効率的なスクリーニングルールを提案する。理論的に、しきい値処理を施した標本分散共分散グラフの連結成分が、推定された精度行列グラフのそれと正確に一致することを証明しており、これにより、ブロックごとの最適化によって正確かつスケーラブルな解法が可能となり、高次元データにおいて顕著な性能向上が達成される。

ABSTRACT

We consider the sparse inverse covariance regularization problem or graphical lasso with regularization parameter $ρ$. Suppose the co- variance graph formed by thresholding the entries of the sample covariance matrix at $ρ$ is decomposed into connected components. We show that the vertex-partition induced by the thresholded covariance graph is exactly equal to that induced by the estimated concentration graph. This simple rule, when used as a wrapper around existing algorithms, leads to enormous performance gains. For large values of $ρ$, our proposal splits a large graphical lasso problem into smaller tractable problems, making it possible to solve an otherwise infeasible large scale graphical lasso problem.

研究の動機と目的

• 高次元性に起因する大規模グラフィカルラッソ問題の計算不能性に対処すること。
• 全問題を解かずにアルゴリズム的最適化を可能にするグラフィカルラッソ解の構造的性質を同定すること。
• 標本分散共分散行列に基づくスクリーニングルールを構築し、問題をより小さい独立した部分問題に分割すること。
• スパarsityと成分別分解を活用して、大規模グラフィカルラッソ問題の正確かつ効率的な解法を可能にすること。
• しきい値処理を施した共分散グラフの連結成分と推定された精度行列グラフの間の同等性について理論的裏付けを提供すること。

提案手法

• 標本分散共分散行列 S の要素を λ でしきい値処理し、0-1の隣接行列として表されるグラフ G^(λ) を構築する。
• G^(λ) の連結成分を計算し、変数の頂点集合を互いに素な部分集合に分割する。
• この頂点分割が、グラフィカルラッソによって得られる推定された精度行列グラフ Θ^(λ) の連結成分と正確に一致することを証明する。
• 連結成分をブロック対角構造として用い、元のグラフィカルラッソ問題をより小さい独立した部分問題に分解する。
• 各部分問題を、次元が低減されたブロック上で標準的なグラフィカルラッソアルゴリズムを別個に適用して解く。
• 同等性を活用して全問題を解かずに済ませることで、近似やヒューリスティクスに依存せず、顕著な計算高速化を達成する。

実験結果

リサーチクエスチョン

• RQ1 しきい値処理を施した共分散グラフの連結成分構造は、グラフィカルラッソ解のスパarsityパターンを予測できるか？
• RQ2 しきい値処理を施した共分散グラフの連結成分が誘導する頂点分割は、推定された精度行列のそれと正確に一致するか？
• RQ3 この構造的同等性を用いて、大規模グラフィカルラッソ問題をより小さい独立した部分問題に分解できるか？
• RQ4 実際の応用において、このスクリーニングルールがもたらす計算的利点とスケーラビリティの向上は何か？
• RQ5 正則化パrameter λ の異なる値において、同等性はどのように保たれるか？

主な発見

• 定理1で示されるように、しきい値処理を施した共分散グラフ G^(λ) の連結成分は、推定された精度行列グラフ Θ^(λ) のそれと正確に等しい。
• G^(λ) の連結成分が誘導する頂点分割は、解 Θ^(λ) のそれと同一であり、誤った変数のグループ化や分割は一切ない。
• この同等性により、元のグラフィカルラッソ問題は k(λ) 個の独立した部分問題に分解可能であり、それぞれが1つの連結成分に対応する。
• 本手法により、より小さいブロック対角部分問題を解くことで、大規模グラフィカルラッソ問題の正確な解法が可能となり、顕著な計算上の利点が得られる。
• スクリーニングルールは正確であり、近似やヒューリスティクスに依存せず、解の統計的整合性を保つ。
• 合成データおよびマイクロアレイデータを用いた実験結果から、滑らかなスケーラビリティが確認され、問題のサイズとスパarsityが増すほど性能向上が顕著になる。