[論文レビュー] High-dimensional Sparse Inverse Covariance Estimation using Greedy Methods

Christopher C. Johnson, Ali Jalali+1 more|arXiv (Cornell University)|Dec 29, 2011

Sparse and Compressive Sensing Techniques参考文献 17被引用数 36

ひとこと要約

本稿では、ガウス graphical モデルにおける高次元スパース逆共分散推定のための2つのグリーディアルゴリズム—グローバルおよびローカル—を提案する。それぞれの対数尤度およびノードごとの条件付き尤度に基づく前方および後方グリーディ選択を活用することで、$μat{1}$-正則化ガウス MLE が要請する $O(d^2ackepsilon p)$ よりもはるかに少ない $O(dackepsilon p)$ のサンプルで、スパースistentなグラフ回復を達成する。また、より弱い正則性条件を仮定する。

ABSTRACT

In this paper we consider the task of estimating the non-zero pattern of the sparse inverse covariance matrix of a zero-mean Gaussian random vector from a set of iid samples. Note that this is also equivalent to recovering the underlying graph structure of a sparse Gaussian Markov Random Field (GMRF). We present two novel greedy approaches to solving this problem. The first estimates the non-zero covariates of the overall inverse covariance matrix using a series of global forward and backward greedy steps. The second estimates the neighborhood of each node in the graph separately, again using greedy forward and backward steps, and combines the intermediate neighborhoods to form an overall estimate. The principal contribution of this paper is a rigorous analysis of the sparsistency, or consistency in recovering the sparsity pattern of the inverse covariance matrix. Surprisingly, we show that both the local and global greedy methods learn the full structure of the model with high probability given just $O(d\log(p))$ samples, which is a \emph{significant} improvement over state of the art $\ell_1$-regularized Gaussian MLE (Graphical Lasso) that requires $O(d^2\log(p))$ samples. Moreover, the restricted eigenvalue and smoothness conditions imposed by our greedy methods are much weaker than the strong irrepresentable conditions required by the $\ell_1$-regularization based methods. We corroborate our results with extensive simulations and examples, comparing our local and global greedy methods to the $\ell_1$-regularized Gaussian MLE as well as the Neighborhood Greedy method to that of nodewise $\ell_1$-regularized linear regression (Neighborhood Lasso).

研究の動機と目的

• 高次元ガウス graphical モデルにおけるスパース逆共分散行列の一貫的回復の課題に対処すること。
• グラフィカル Lasso などの既存の $μat{1}$-正則化手法が要請する高いサンプル複雑性と強い不代表的性条件を克服すること。
• 弱い構造的仮定の下でスパースistency（非ゼロ構造の正しい回復）を達成するグリーディアルゴリズムを開発すること。
• グローバルおよびローカルグリーディアプローチが、最先端の $μat{1}$-正則化手法よりもはるかに少ないサンプル数で十分に動作することを示すこと。
• 弱い制限固有値および滑らかさ条件の下でのスパースistency の厳密な理論的分析を提供すること。

提案手法

• 全対数尤度に基づく前方および後方ステップを用いて、逆共分散行列の要素を反復的に追加または削除するグローバルグリーディアルゴリズムを提案する。
• 各ノードの近隣を個別に推定するローカルグリーディアルゴリズムを開発し、条件付き尤度に基づくグリーディ選択を用い、最小二乗最適化に帰着させる。
• グローバルアルゴリズムにおける単一変数更新に閉形式解を適用し、繰り返し対数行列式計算を回避する。
• 収束を制御するための停止基準として、$\epsilon_{\mathcal{S}} = \frac{cd\backepsilon p}{n}$ を用いる。ここで $c$ は調整定数である。
• 改善量がこのレベルを下回る場合に変数を削除するためのバックワードステップの閾値 $v = 0.5$ を設定する。
• 各ノードの近隣推定値を結合して全グラフ構造を回復し、高確率の一貫性を保証するためのユニオンバウンドに依存する。

実験結果

リサーチクエスチョン

• RQ1 グリーディ手法は、$μat{1}$-正則化手法よりも少ないサンプル数で逆共分散行列構造のスパースistentな回復を達成できるか？
• RQ2 グリーディ手法を用いた一貫的なグラフ構造学習に必要な最小サンプル複雑性は何か？
• RQ3 グリーディ手法の正則性条件（例：制限固有値、滑らかさ）は、$μat{1}$-正則化推定器と比較してどう異なるか？
• RQ4 ノードごとの選択によるローカルグリーディ推定は、グローバルグリーディまたはノードワイズ $μat{1}$-正則化回帰に比べてサンプル効率に優れているか？
• RQ5 提案されたグリーディ手法は、鎖状や星型などの異なるグラフトポロジーにおいて、実験的にどのように性能を発揮するか？

主な発見

• グローバルおよびローカルグリーディアルゴリズムは、$O(d\backepsilon p)$ のサンプル数で逆共分散行列構造のスパースistentな回復を達成し、$μat{1}$-正則化ガウス MLE が要請する $O(d^2\backepsilon p)$ よりも顕著な改善を示す。
• グリーディ手法が要請する制限固有値および滑らかさ条件は、$μat{1}$-正則化手法が要請する不代表的性条件よりも著しく弱い。
• シミュレーションの結果、特に鎖状や星型のスパースなグラフにおいて、Neighborhood Greedy アルゴリズムは Neightborhood Lasso（ノードワイズ $μat{1}$-回帰）よりも少ないサンプル数で真のグラフ構造を回復できることが示された。
• 鎖状グラフ（$d=2$）では、同じサンプルサイズでローカルグリーディ手法の成功確率が Neightborhood Lasso を上回り、成功閾値は $n \approx 70d\backepsilon p$ に比例してスケーリングされる。
• 星型グラフ（$d=0.1p$）では、ローカルグリーディ手法は $n \approx 200\backepsilon(dp)$ のサンプル数で高い成功確率を達成し、$μat{1}$-ベースの手法を上回った。
• グローバルグリーディアルゴリズムにおける単一変数最適化の閉形式更新ルールにより、高コストな対数行列式計算を回避でき、効率的な実装が可能になった。