[論文レビュー] Inverse Covariance Estimation for High-Dimensional Data in Linear Time and Space: Spectral Methods for Riccati and Sparse Models

Jean Honorio, Tommi Jaakkola|arXiv (Cornell University)|Sep 26, 2013

Bayesian Modeling and Causal Inference参考文献 29被引用数 8

ひとこと要約

本稿では、スパース性を促進する ℓ₁ペナルティを避けるためにガウス（ℓ₂²）事前分布を用いた、高次元ガウスグラフィカルモデルにおける逆共分散推定のスペクトル的手法を提案する。問題は特異値分解（SVD）を用いて解けるリカッチ行列方程式として定式化され、O(NT²) 時間および O(NT) 空間計算量を達成する。また、スプライクド共分散モデル下で、性能保証付きの完全な正則化パスを提供する。

ABSTRACT

We propose maximum likelihood estimation for learning Gaussian graphical models with a Gaussian (ell_2^2) prior on the parameters. This is in contrast to the commonly used Laplace (ell_1) prior for encouraging sparseness. We show that our optimization problem leads to a Riccati matrix equation, which has a closed form solution. We propose an efficient algorithm that performs a singular value decomposition of the training data. Our algorithm is O(NT^2)-time and O(NT)-space for N variables and T samples. Our method is tailored to high-dimensional problems (N gg T), in which sparseness promoting methods become intractable. Furthermore, instead of obtaining a single solution for a specific regularization parameter, our algorithm finds the whole solution path. We show that the method has logarithmic sample complexity under the spiked covariance model. We also propose sparsification of the dense solution with provable performance guarantees. We provide techniques for using our learnt models, such as removing unimportant variables, computing likelihoods and conditional distributions. Finally, we show promising results in several gene expressions datasets.

研究の動機と目的

• 高次元設定（N ≫ T）におけるスパース性促進手法（例：ℓ₁正則化付き逆共分散推定）の計算非効率性を解消すること。
• パラメータにガウス（ℓ₂²）事前分布を用いた最大尤度推定を実現するスケーラブルで効率的なアルゴリズムの開発。ℓ₁正則化を回避する。
• 固定された λ に対する単一の解ではなく、すべての正則化パラメータにおける解のパスを提供すること。
• 変数選択、尤度計算、条件付き分布推定を通じて、実用的モデル利用を可能にすること。
• スプライクド共分散モデル下での対数的サンプル複雑度の確立と、密行列解の理論的保証付きスパース化の提供。

提案手法

• ℓ₂²事前分布を用いた逆共分散推定を最大尤度問題として定式化し、リカッチ行列方程式に帰着させる。
• 訓練データ行列の特異値分解（SVD）を用いてリカッチ方程式を解き、閉形式解を実現する。
• サンプル数 T と変数数 N に対して線形にスケーリングするスペクトル分解アプローチを採用し、O(NT²) 時間および O(NT) 空間計算量を達成する。
• リカッチ方程式の構造を活用し、再最適化を伴わずにすべての正則化パラメータにおける連続的解パスを導出する。
• 理論的誤差境界を保証するスパース化手順を導入し、モデル性能を維持しながら複雑度を低減する。
• 学習された密行列逆共分散を、尤度評価、条件付き分布、変数選択などの後続タスクに活用する。

実験結果

リサーチクエスチョン

• RQ1 高次元設定において、ℓ₁正則化に依存せずに逆共分散推定を効率的に行うことは可能か？
• RQ2 リカッチ方程式に基づくスペクトル的手法は、高次元逆共分散推定において線形時間および線形空間計算を可能にするか？
• RQ3 繰り返し最適化を伴わず、効率的に完全な正則化パスを計算できるか？
• RQ4 スプライクド共分散モデル下で、提案手法のサンプル複雑度はいかほどか？
• RQ5 密行列解は、理論的保証付きでスパース化可能か？

主な発見

• 提案アルゴリズムは O(NT²) 時間および O(NT) 空間計算量を達成し、高次元データ（N ≫ T）に対してスケーラブルである。
• すべての正則化パラメータにおける完全な解パスを提供し、再最適化なしに柔軟なモデル選択が可能である。
• スプライクド共分散モデル下では、対数的サンプル複雑度を示し、強い統計的効率性を示す。
• 密行列解は理論的誤差境界を保証しつつスパース化可能であり、モデル精度を維持しながら複雑度を低減できる。
• 遺伝子発現データセットを用いた実験的評価では、高次元領域において従来の ℓ₁ベース手法を上回る性能を示した。
• 尤度計算、条件付き分布、変数重要度順位付けなどの実用的モデル利用をサポートする。