[論文レビュー] Sparse Inverse Covariance Selection via Alternating Linearization Methods

Katya Scheinberg, Shiqian Ma+1 more|arXiv (Cornell University)|Oct 30, 2010

Gene expression and cancer classification参考文献 15被引用数 82

ひとこと要約

本稿では、O(1/ε)の反復複雑性を達成するための、閉形式の部分問題解を有する一次最適化を活用したスパース逆共分散選択のための交互線形化法（ALM）を提案する。この手法は、合成的および実際の遺伝子関連ネットワークデータにおいて、PSM や VSM と比較して精度と計算効率の両面で優れている。特に正則化パrameter が大きい場合に顕著である。

ABSTRACT

Gaussian graphical models are of great interest in statistical learning. Because the conditional independencies between different nodes correspond to zero entries in the inverse covariance matrix of the Gaussian distribution, one can learn the structure of the graph by estimating a sparse inverse covariance matrix from sample data, by solving a convex maximum likelihood problem with an $\ell_1$-regularization term. In this paper, we propose a first-order method based on an alternating linearization technique that exploits the problem's special structure; in particular, the subproblems solved in each iteration have closed-form solutions. Moreover, our algorithm obtains an $ε$-optimal solution in $O(1/ε)$ iterations. Numerical experiments on both synthetic and real data from gene association networks show that a practical version of this algorithm outperforms other competitive algorithms.

研究の動機と目的

• 高次元データに対してスケーラブルで効率的な、スパース逆共分散選択（SICS）のための一次最適化手法を開発すること。
• SICS 問題の特殊構造を活用して、各反復で閉形式解が得られるようにすることにより、計算効率を向上させること。
• ε-最適解に対して、O(1/ε)の保証された反復複雑性境界を達成すること。これは、従来の一次手法にそのような境界が欠如していたという点を解決すること。
• 実際および合成データにおいて、収束速度と解の精度の両面で、既存の優れたアルゴリズム（例：PSM, VSM, glasso）を上回ること。
• 正則化パrameter の変動にかかわらず、真のグラフィカルモデル構造と整合性を保ちつつ、解のスパarsity を確保すること。

提案手法

• 目的関数を各反復で線形化することで、非滑らか項 ℓ₁ を分離する、プライマル SICS 問題のための交互線形化法を採用する。
• 各部分問題は、現在の反復値をしきい値処理することで閉形式で解かれ、反復ソルバーを必要とせず、効率的かつ正確な更新が可能になる。
• 逆共分散行列 X の更新と、プロキシマルに似た更新戦略による双対妥当性の維持を、交互に繰り返す。
• SICS 問題の双対定式化から導出されており、強い双対性を保証し、双対ギャップ（式3）を用いたギャップのモニタリングが可能になる。
• 収束速度と安定性のバランスを取るために、実用的なラインサーチ戦略を採用している。
• 双対ベースの手法に内在する数値的不安定性や密な逆行列演算を回避するため、直接的にプライマル問題に適用する。

実験結果

リサーチクエスチョン

• RQ1 スパース逆共分散選択に対して、保証された O(1/ε) の反復複雑性を持つ一次手法を設計できるか？
• RQ2 閉形式の部分問題解を有する交互線形化アプローチは、実際の PSM や VSM といった既存の一次手法を上回る性能を示すか？
• RQ3 実世界の遺伝子発現データにおいて、本手法はスパarsity と精度の点で最先端手法と比較してどのように性能を発揮するか？
• RQ4 正則化パrameter ρ が、スパarsity パターンと収束挙動に与える影響は何か？
• RQ5 内点法や問題の再定式化を必要とせずに、大規模問題においても高い精度と効率を維持できるか？

主な発見

• ρ = 1.0 および n = 2000 の場合、ALM は約1時間15分で双対ギャップ 9.58e-4 を達成した。一方、PSM と VSM はそれぞれ約3時間25分および10時間23分を要した。
• 実際の遺伝子データセットでは、ALM は PSM や VSM よりも著しく高速かつ高精度であり、CPU 時間は35〜2158秒であったのに対し、VSM は最大52,978秒に達した。
• ρ ≥ 0.5 の場合、ALM, PSM, VSM のすべての手法が同一のスパarsity パターンを生成し、低 ρ 値でも2〜3個以内の差異にとどまり、解の整合性が極めて高いことが示された。
• 真の陽性対偽陽性回復の受信者操作特性（ROC）曲線は、各手法間でほぼ同一であり、ALM が最先端アルゴリズムのモデル選択品質を保持していることを確認した。
• リンパ節状態データセット（n=587）では、ALM は60反復、35秒で双対ギャップ 9.41e-6 を達成した。これに対して PSM は178反復、64秒、VSM は467反復、273秒を要した。
• すべてのテストデータセットにおいて、本手法は収束速度と解の精度の両面で一貫して優れた性能を示し、特に ρ が増加するにつれて顕著に優位性を発揮した。