[論文レビュー] Graphical Lasso and Thresholding: Equivalence and Closed-form Solutions

Salar Fattahi, Somayeh Sojoudi|arXiv (Cornell University)|Aug 30, 2017

Statistical Methods and Inference参考文献 39被引用数 11

ひとこと要約

この論文は、計算が高コストなグラフィカルラッソ（GL）が、サンプル共分散行列の単純なしきい値処理と等価となる条件を確立し、しきい値処理を施した行列が非巡回構造を持つ場合の閉形式解を可能にする。さらに、一般のスパースグラフに対して明示的で高速な近似を提供し、近似誤差はサイクル長に伴い指数関数的に減少する。標準のラップトップで80,000×80,000行列に対して30分未塔でほぼ最適な結果を達成する。

ABSTRACT

Graphical Lasso (GL) is a popular method for learning the structure of an undirected graphical model, which is based on an $l_1$ regularization technique. The objective of this paper is to compare the computationally-heavy GL technique with a numerically-cheap heuristic method that is based on simply thresholding the sample covariance matrix. To this end, two notions of sign-consistent and inverse-consistent matrices are developed, and then it is shown that the thresholding and GL methods are equivalent if: (i) the thresholded sample covariance matrix is both sign-consistent and inverse-consistent, and (ii) the gap between the largest thresholded and the smallest un-thresholded entries of the sample covariance matrix is not too small. By building upon this result, it is proved that the GL method---as a conic optimization problem---has an explicit closed-form solution if the thresholded sample covariance matrix has an acyclic structure. This result is then generalized to arbitrary sparse support graphs, where a formula is found to obtain an approximate solution of GL. Furthermore, it is shown that the approximation error of the derived explicit formula decreases exponentially fast with respect to the length of the minimum-length cycle of the sparsity graph. The developed results are demonstrated on synthetic data, functional MRI data, traffic flows for transportation networks, and massive randomly generated data sets. We show that the proposed method can obtain an accurate approximation of the GL for instances with the sizes as large as $80,000 imes 80,000$ (more than 3.2 billion variables) in less than 30 minutes on a standard laptop computer running MATLAB, while other state-of-the-art methods do not converge within 4 hours.

研究の動機と目的

• グラフィカルラッソ（GL）の解が、最適化のコストを回避するために、サンプル共分散行列のしきい値処理と等価となる条件を同定すること。
• スパース構造が非巡回である場合に、GLに対して閉形式解を導出することで、正確かつ高速な計算を可能にすること。
• スパースグラフの一般化を図るため、近似誤差を明示的に定量化した公式を用いて、閉形式解を一般化すること。
• 大規模な合成データ、fMRI、交通、ランダムデータの各セットにおいて、本手法のスケーラビリティと正確性を実証すること。
• GLの解に依存しない、サンプル共分散行列のみに基づく検証可能でデータ駆動型の条件（符号一貫性、逆行列一貫性、ギャップ条件）を提供すること。

提案手法

• GLとしきち値処理の等価性を特徴付けるために、符号一貫性と逆行列一貫性を持つ新しい行列の性質を導入する。
• しきち値処理を施したサンプル共分散行列が符号一貫性および逆行列一貫性を満たし、かつしきち値処理済みと未処理のエントリ間に十分なギャップがある場合、GLとしきち値処理が等価であることを証明する。
• 正定値補完と逆行列構造解析を用いて、しきち値処理を施した行列のサポートグラフが非巡回である場合のGLに対する閉形式解を導出する。
• スパースグラフの一般化において、近似誤差をスパースネットの最小サイクル長の関数としてモデル化することで、閉形式解を一般化する。
• 相互不整合パラメータとサブガウス型尾部バウンドを用いて、スパース性を促進する正則化パrameterの理論的バウンドを導出する。
• 大規模データセット上で本手法を実装・ベンチマークし、最先端のGLソルバと比較して、正確性（フロベニウスノルム、TPR、FPR）と実行時間の両面で評価する。

実験結果

リサーチクエスチョン

• RQ1 グラフィカルラッソの解が、どのような条件下でサンプル共分散行列のしきち値処理と等価となるか？
• RQ2 スパース構造が非巡回である場合に、グラフィカルラッソに対して閉形式解を導出できるか？
• RQ3 閉形式解を、近似誤差を明示的に定量化できる形で、任意のスパースグラフに一般化できるか？
• RQ4 スパースグラフの構造（例：サイクル長）と近似の正確性の関係は何か？
• RQ5 既存のGLソルバと比較して、本手法は大規模問題（例：80,000×80,000）において、実行時間と正確性の両面でどのようにスケーリングするか？

主な発見

• GLとしきち値処理が等価であるための条件は、しきち値処理を施したサンプル共分散行列が符号一貫性および逆行列一貫性を満たし、かつ最も大きなしきち値処理済みエントリと最小の未処理エントリとの間のギャップが十分に大きい場合に成立する。
• しきち値処理を施した行列のサポートグラフが非巡回である場合、正定値補完と行列の逆行列構造解析を用いて、GLに対する閉形式解が存在する。
• 一般のスパースグラフでは、提案された明示的公式により、近似GL解が得られ、その誤差はスパースグラフにおける最短サイクル長に伴い指数関数的に減少する。
• 80,000×80,000行列において、標準ラップトップで30分未塔で高精度な近似が得られ、最先端のソルバは4時間以内に収束しなかった。
• 大規模インスタンスにおいて、本手法は高い真正陽性率（TPR ≈ 1.0）とゼロの偽陽性率（FPR = 0.0）を達成し、80,000×80,000問題ではフロベニウスノルム誤差が0.28未満である。
• 理論的正則化パラメータλ₀は、シミュレーションで用いられた値よりも顕著に小さいことが判明し、λ₀がスパース性を達成するための保守的過小推定値であることが示唆された。