[論文レビュー] Graphical Elastic Net and Target Matrices: Fast Algorithms and Software for Sparse Precision Matrix Estimation

Solt Kovács, Tobias Ruckstuhl+2 more|arXiv (Cornell University)|Jan 6, 2021

Statistical Methods and Inference参考文献 44被引用数 4

ひとこと要約

本稿では、高次元ガウスグラフィカルモデルにおけるスパース精度行列推定のための新しいグラフィカルリッジ法（Graphical Elastic Net）を提案する。L1およびL2正則化を組み合わせ、柔軟な対角行列のターゲット行列を用いる。GLassoElnetFast Rパッケージに実装された高速で効率的なアルゴリズム（gelnetおよびdpgelnet）により、特にターゲット行列や正則化重みの変動を伴う状況において、従来の手法に比べて計算速度と手法の柔軟性が顕著に向上する。

ABSTRACT

We consider estimation of undirected Gaussian graphical models and inverse covariances in high-dimensional scenarios by penalizing the corresponding precision matrix. While single $L_1$ (Graphical Lasso) and $L_2$ (Graphical Ridge) penalties for the precision matrix have already been studied, we propose the combination of both, yielding an Elastic Net type penalty. We enable additional flexibility by allowing to include diagonal target matrices for the precision matrix. We generalize existing algorithms for the Graphical Lasso and provide corresponding software with an efficient implementation to facilitate usage for practitioners. Our software borrows computationally favorable parts from a number of existing packages for the Graphical Lasso, leading to an overall fast(er) implementation and at the same time yielding also much more methodological flexibility.

研究の動機と目的

• 従来の手法が特異性や性能の低さにより失敗する高次元設定における精度行列推定を改善すること。
• グラフィカルラッソを拡張し、L1 + L2正則化（エラスティックネット正則化）を組み込むことで、特に変数間の相関が高い状況での安定性を向上させること。
• 事前知識や構造的制約を組み込むために、対角行列のターゲット行列を推定プロセスに組み込むこと。
• 既存の実装より高速でスケーラブルな計算効率の高いアルゴリズムを開発すること。
• 複数の正則化およびターゲットベースのアプローチを統合した、一元的で使いやすいRソフトウェアパッケージ（GLassoElnetFast）を提供すること。

提案手法

• 混合パrameter α ∈ [0,1] を用いて、精度行列にL1およびL2正則化を組み合わせた、ペナルティ付きガウス尤度関数の最適化を提案する。
• 2つのアルゴリズムを導入する：gelnet（逆精度行列を扱う）およびdpgelnet（共分散行列を扱う）、両者ともブロック座標降下法を用いる。
• 既知の構造に近づけるために、対角行列のターゲット行列Tを導入し、相関が高い場合やサンプルサイズが小さい場合の推定性能を向上させる。
• 収束を加速するために、ウォームスタート戦略と、コレスキー分解およびしきい値処理を用いた効率的な更新を採用する。
• 計算の最適化を、既存の glasso および glassoFast パッケージから借用し、速度を向上させつつ数値的安定性を維持する。
• RおよびFortranを用いて、高性能計算を実現するGLassoElnetFast Rパッケージに、全パイプラインを実装する。

実験結果

リサーチクエスチョン

• RQ1 精度行列推定においてL1およびL2正則化を組み合わせることで、特に変数間の相関が高い状況下で、安定性と精度が向上するか？
• RQ2 対角行列のターゲット行列を組み込むことで、スパース精度行列推定の性能と解釈可能性にどのような影響を与えるか？
• RQ3 提案されたアルゴリズムは、既存のグラフィカルラッソおよびイテレーティブリッジ実装よりも高速な計算時間を達成できるか？
• RQ4 ターゲット行列を組み込んだグラフィカルリッジ法は、標準的なグラフィカルラッソに比べ、推定精度およびスパース回復性能で優れているか？
• RQ5 α（混合パrameter）の選択が、高次元設定におけるスパarsityと安定性のトレードオフにどの程度影響を与えるか？

主な発見

• GLassoElnetFastパッケージは、ターゲット行列を用いる場合、標準的な glasso およびイテレーティブリッジ法に比べて、桁違いに高速な計算速度を実現する。
• L2正則化（エラスティックネット経由）の導入により、特に相関が高い状況下で安定性が向上し、推定分散が低減される。
• 特に事前構造的知識が利用可能な場合、ターゲット行列（特にエラスティックネットと組み合わせた場合）は、より正確で解釈可能な精度行列推定を実現する。
• gelnetおよびdpgelnetアルゴリズムは、glassoFastと同等の計算的性能を示し、純粋なL1正則化推定に比べてわずかに時間は増加するが、許容範囲内である。
• ソフトウェア実装は、α ∈ [0,1] の全範囲をサポートしており、正則化パスの柔軟な探索と、より優れたモデル選択を可能にする。
• 実験的結果から、精度行列の対角成分に正則化を施さないことで、推定性能が向上することが示され、理論的結果とも整合的である。