[論文レビュー] Large-Scale Sparse Inverse Covariance Estimation via Thresholding and Max-Det Matrix Completion

Richard Y. Zhang, Salar Fattahi+1 more|arXiv (Cornell University)|Feb 13, 2018

Sparse and Compressive Sensing Techniques被引用数 11

ひとこと要約

本稿では、サンプル共分散行列に対するソフトスレッショーティングと最大行列行列式補完（MDMC）のためのニュートン-CG法を組み合わせることで、大規模なスパース逆共分散推定のスケーラブルな手法を提案する。弱い仮定の下で、この手法はグラフィカルラassoと制限付きグラフィカルラasso（RGL）の解を、O(n log(1/ε))の時間とO(n)のメモリで回復する。標準のラップトップでも200,000変数の問題を1時間未塔で解ける。

ABSTRACT

The sparse inverse covariance estimation problem is commonly solved using an $\\ell_{1}$-regularized Gaussian maximum likelihood estimator known as "graphical lasso", but its computational cost becomes prohibitive for large data sets. A recent line of results showed--under mild assumptions--that the graphical lasso estimator can be retrieved by soft-thresholding the sample covariance matrix and solving a maximum determinant matrix completion (MDMC) problem. This paper proves an extension of this result, and describes a Newton-CG algorithm to efficiently solve the MDMC problem. Assuming that the thresholded sample covariance matrix is sparse with a sparse Cholesky factorization, we prove that the algorithm converges to an $\\epsilon$-accurate solution in $O(n\\log(1/\\epsilon))$ time and $O(n)$ memory. The algorithm is highly efficient in practice: we solve the associated MDMC problems with as many as 200,000 variables to 7-9 digits of accuracy in less than an hour on a standard laptop computer running MATLAB.

研究の動機と目的

• n > 10^4変数の大きなデータセットに対して計算的に不適切なグラフィカルラassoの計算困難性に対処する。
• 高次元スパース逆共分散推定のための最新のソルバー（QUIC や GLASSO など）の実用的で効率的な代替手段を開発する。
• 弱い仮定の下で、サンプル共分散行列に対するソフトスレッショーティングとその後の最大行列行列式補完（MDMC）が、グラフィカルラassoと制限付きグラフィカルラasso（RGL）の解を回復することを証明する。
• スレッショーティングされた行列がスパースかつチャーディナルである場合に、線形時間と線形メモリの複雑度を達成するMDMCのためのニュートン-CGアルゴリズムを設計する。
• SuiteSparse コレクションからの合成的および実世界のグラフを用いて、本手法のスケーラビリティと正確性を実証する。問題の規模は最大200,000変数までをカバーする。

提案手法

• サンプル共分散行列 C にソフトスレッショーティングを適用し、C_λ を得る。弱い仮定の下で、これは逆共分散推定のスパース構造を回復する。
• 事前知識またはスレッショーティングによって得られる既知のスパース構造 G を、最大行列行列式補完（MDMC）問題の制約として導入する：X ≻ 0 かつ (i,j) ∉ G のとき X_{i,j} = 0 を満たすように、tr(C_λ X) - log det X を最小化する。
• スパースなチャーディナル構造とスパースなコレスキー分解を活用した、原点対象のニュートン-CGアルゴリズムを用いてMDMC問題を解く。これにより、O(n)のメモリとO(n log(1/ε))の時間複雑度を達成する。
• スパースグラフのチャーディナル構造を活用し、スパースコレスキー分解と共役勾配法を用いてニュートンステップを効率的に計算する。
• 線形探索バックトラッキング戦略を用いて、ニュートン-CG法のグローバル収束を保証するとともに、超線形収束速度を維持する。
• スレッショーティングとMDMCのパイプラインを統合した完全なワークフローを設計：C をスレッショーティングして C_λ を得、スパース構造 G を抽出し、MDMCを解いて最終的な逆共分散推定器を回復する。

実験結果

リサーチクエスチョン

• RQ1 弱い仮定の下で、サンプル共分散行列に対するソフトスレッショーティングとその後の最大行列行列式補完（MDMC）が、グラフィカルラassoと制限付きグラフィカルラasso（RGL）の解を回復できるか？
• RQ2 スレッショーティングされた行列がスパースかつチャーディナルである場合、MDMC問題の計算複雑度は何か？また、線形時間と線形メモリで解けるか？
• RQ3 本手法のスレッショーティング-MDMCパイプラインは、大規模な実世界および合成グラフにおいて、最新のソルバー（QUIC や GLASSO）と比較して速度と正確性で優れているか？
• RQ4 限られたサンプル数の高次元設定において、本手法は真の逆共分散行列のスパース構造と数値的正確性をどの程度保持できるか？
• RQ5 標準のラップトップで200,000変数の問題にスケーリング可能であり、7〜9桁の正確性を維持し、1時間以内に完了できるか？

主な発見

• 提案されたスレッショーティング-MDMCパイプラインは、相対的目的関数差が ≤ 4×10⁻⁴ 以内で、グラフィカルラassoとRGLの解を回復し、理論的保証を確認した。
• スレッショーティングされた行列がスパースかつチャーディナルである場合、MDMCのためのニュートン-CGアルゴリズムは、O(n log(1/ε))の時間とO(n)のメモリでε-精度解に収束する。
• SuiteSparse コレクションからの実世界のグラフにおいて、最大201,062変数の問題を1時間未塔で解けた。一方、QUICは最大のインスタンスで3時間以内に収束しなかった。
• 本手法の実測時間複雑度は、RGLでO(n¹.⁶⁴)、グラフィカルラassoでO(n¹.⁵⁵)であり、それぞれQUICのO(n².⁴⁶)とO(n².⁵²)よりも顕著に低い。
• n ≤ 1.5×10⁴ の問題では、QUICに比べて平均11倍の高速化を達成し、QUICが失敗した最大の問題（n ≈ 2×10⁵）を正常に解いた。
• すべてのテストケースで、実行可能性ギャップが < 10⁻¹⁶、双対ギャップが < 10⁻⁸ であり、高い数値的正確性とロバストネスを示した。