[論文レビュー] Sparse inverse covariance estimation with the lasso

Jerome H. Friedman, Trevor Hastie+1 more|ArXiv.org|Aug 27, 2007

Sparse and Compressive Sensing Techniques参考文献 8被引用数 60

ひとこと要約

この論文は、高次元ガウス graphical モデルにおけるスパース逆共分散行列の推定のための高速で座標降下に基づくlassoアルゴリズムを提案する。問題をlasso回帰の部分問題の系列に再定式化することで、内点法と比較して50〜2000倍高速な計算を達成しながら、正確な最尤推定を維持し、1分未満で最大1000変数の大きなスケールのデータセットの効率的な解析を可能にする。

ABSTRACT

We consider the problem of estimating sparse graphs by a lasso penalty applied to the inverse covariance matrix. Using a coordinate descent procedure for the lasso, we develop a simple algorithm that is remarkably fast: in the worst cases, it solves a 1000 node problem (~500,000 parameters) in about a minute, and is 50 to 2000 times faster than competing methods. It also provides a conceptual link between the exact problem and the approximation suggested by Meinhausen and Buhlmann (2006). We illustrate the method on some cell-signaling data from proteomics.

研究の動機と目的

• L1正則化下でのスパース逆共分散行列の推定のための計算的に効率的な手法の開発。
• マイエンハウゼン＝ブルーマン近似と正確な最尤解との間の概念的・計算的ギャップを埋める。
• 従来の内点法が遅すぎて使えない高次元設定における大規模 graphical モデル推定を可能にする。
• 実世界の生物学的および高次元データにおけるスパース共分散推定のための実用的で高速かつ正確なアルゴリズムを提供すること。

提案手法

• アルゴリズムは、各々の行と列を逐次更新するブロック座標降下法を用い、逆共分散行列の各要素をlasso型最適化問題を解くことで更新する。
• 各変数について、現在の共分散行列推定値から導かれる修正された設計行列と応答ベクトルを用いたlasso回帰に相当する双対問題を解く。
• コアとなる最適化ステップは、座標降下を用いて効率的に解ける箱制約付き二次計画問題であり、既存の高速lassoソルバーを活用する。
• アルゴリズムは、各変数の条件付き回帰係数の更新と、それに応じた逆共分散行列の対応する要素の更新を交互に繰り返す。
• 収束は双対ギャップを用いて監視され、実験では0.1のしきい値が用いられる。
• この手法は概念的にマイエンハウゼン＝ブルーマン法に類似しているが、L1正則化付き対数尤度最大化の正確な解を提供する。

実験結果

リサーチクエスチョン

• RQ1 lasso回帰に基づく座標降下アルゴリズムは、内点法と比較して、正確なスパース逆共分散推定問題をより効率的に解けるか。
• RQ2 提案手法はマイエンハウゼン＝ブルーマン近似と正確な内点法ソルバーと比較して、精度と速度の点でどのように異なるか。
• RQ3 lassoベースのアプローチは、計算スケーラビリティを達成しつつ、統計的整合性をどの程度維持できるか。
• RQ4 この手法は、プロテオミクスデータのような実世界の高次元生物学的データに効果的に適用可能か。

主な発見

• 提案された共分散lassoアルゴリズムは、1000ノードの問題（約500,000パラメータ）を1分未満で解き、驚異的な高速性を示した。
• 最悪ケースにおいて、COVSEL内点法と比較して50〜2000倍高速であり、スパース問題では中央値で約1900倍の高速化が達成された。
• 平均してデータを約3回のスキャンで収束させる必要があり、収束効率が非常に高いことが示された。
• 11タンパク質の細胞シグナル伝達データセットでは、Sachsら（2003）のDAGと中程度の一致を示したが、特に中程度の正則化レベルで顕著であった。
• 交差検証の結果、正確な共分散lassoはマイエンハウゼン＝ブルーマン近似を予測性能で上回り、特に軽い正則化条件下で顕著であった。
• 尤度に基づく交差検証アプローチは回帰に基づくアプローチよりもばらつきが少なく、より安定したモデル選択が可能であることが示唆された。