[論文レビュー] Two New Algorithms for Solving Covariance Graphical Lasso Based on Coordinate Descent and ECM

Hao Wang|arXiv (Cornell University)|May 18, 2012

Statistical Methods and Inference参考文献 3被引用数 3

ひとこと要約

本論文は、共分散グラフィカルラッソ問題を解くために2つの新しいアルゴリズム—座標降下法とECM—を提案する。この問題は、偏相関構造を特定するためにL1正則化を用いてスパースな共分散行列を推定することを目的としている。提案手法は、Bien & Tibshirani (2011)の既存手法よりも単純で、高速かつより安定しており、さまざまなシミュレーション設定において、速度、収束性、スパース性回復性能の面で優れた性能を示した。

ABSTRACT

Covariance graphical lasso applies a lasso penalty on the elements of the covariance matrix. This method is useful because it not only produces sparse estimation of covariance matrix but also discovers marginal independence structures by generating zeros in the covariance matrix. We propose and explore two new algorithms for solving the covariance graphical lasso problem. Our new algorithms are based on coordinate descent and ECM. We show that these two algorithms are more attractive than the only existing competing algorithm of Bien and Tibshirani (2011) in terms of simplicity, speed and stability. We also discuss convergence properties of our algorithms.

研究の動機と目的

• 共分散グラフィカルラッソにおける非凸な目的関数の最小化という計算的課題に取り組む。この目的関数には共分散行列に対するL1正則化が含まれる。
• Bien & Tibshirani (2011)が提案した主要化・最小化手法よりも単純で、高速かつ数値的に安定したアルゴリズムの開発を目的とする。
• 非対角成分がゼロであることでマージナル独立構造を明らかにするスパース共分散行列の効率的推定を可能にする。
• 従来、他の正則化モデルで用いられていた座標降下法とECMアルゴリズムを、非凸な共分散グラフィカルラッソ問題へと拡張することを目的とする。
• 広範な採用と再現可能性を促進するため、MATLABおよびRでのオープンソース実装を提供することを目的とする。

提案手法

• 座標降下法は、共分散行列の1つの列と行を同時に更新し、他のすべての要素を固定する。ブロック行列の逆行列を用いて目的関数を簡略化する。
• ECM法は、期待値と条件付き最大化ステップを繰り返し実行することで目的関数を最適化し、共分散行列の構造を活用する。
• 両手法とも、正定値行列に対して log(det(Σ)) + tr(SΣ⁻¹) + ρ||Σ||₁ を最小化する非凸な目的関数に適用される。ここでΣは共分散行列、Sは標本共分散行列である。
• 座標降下法は、Σを部分行列に分割し、最後の列・行βとその分散γを更新するブロック最適化戦略を用いる。
• ECM法は、主要化関数に基づく期待対数尤度の推定と最大化を交互に繰り返す。
• 両アルゴリズムの収束性が確立されており、座標降下法では各ステップで目的関数が単調に減少することが示された。

実験結果

リサーチクエスチョン

• RQ1 座標降下法とECMは、L1正則化を伴う非凸な共分散グラフィカルラッソ問題に効果的に適応可能か？
• RQ2 Bien & Tibshirani (2011)の主要化・最小化アルゴリズムと比較して、提案手法の速度、安定性、収束性はどのように異なるか？
• RQ3 初期値の選択（完全行列 vs. 対角行列）が、推定された共分散行列の性能およびスパarsityに顕著な影響を与えるか？
• RQ4 提案手法は、既存手法よりも低い目的関数値とより優れたスパース性パターンを達成できるか？
• RQ5 異なる標本サイズおよびスパarsityレベルにおいて、提案手法の計算効率はどの程度か？

主な発見

• 座標降下法は、L1正則化が小さくスパarsityも低い状況を含め、すべてのシミュレーション設定で最小の目的関数値を達成した。
• ECM法は、Bien & Tibshirani (2011)のアルゴリズムに比べて著しく高速であり、ほとんどのシナリオで中央値実行時間が2〜5倍短縮された。
• 高次元設定（p=200）では座標降下法のCPU時間がECMを上回ったが、目的関数の最小化および安定性の面でベンチマークを上回った。
• 初期値の影響は顕著で、対角行列を初期値として使用した場合、完全行列を初期値とした場合よりもスパース性の高い解が得られた。これは初期値がスパarsityに与える影響を示している。
• Bien & Tibshirani (2011)のアルゴリズムは初期値に極めて敏感で、慎重なチューニングが必要であり、デフォルト設定では収束しないか、劣悪な結果を生じる傾向にあった。
• 提案手法はベンチマークよりも数値的により安定しており、テストされたシミュレーションでは発散や収束失敗の事例が一切観察されなかった。