[論文レビュー] Projected Subgradient Methods for Learning Sparse Gaussians

John C. Duchi, Stephen J. Gould+1 more|arXiv (Cornell University)|Jun 13, 2012

Gene expression and cancer classification参考文献 22被引用数 129

ひとこと要約

本稿では、逆共分散行列に l1 正則化を適用することにより、スパースなガウスマルコフランダムフィールド（GMRF）を学習するための射影補グラディエント法を提案する。この手法により、高次元における効率的な推論が可能になる。実用的には収束が速く、最適な漸近的複雑度を達成する。また、ブロック単位のスパース性への自然な拡張が可能であり、生物学的および画像モデリングタスクにおける一般化性能が向上する。

ABSTRACT

Gaussian Markov random fields (GMRFs) are useful in a broad range of applications. In this paper we tackle the problem of learning a sparse GMRF in a high-dimensional space. Our approach uses the l1-norm as a regularization on the inverse covariance matrix. We utilize a novel projected gradient method, which is faster than previous methods in practice and equal to the best performing of these in asymptotic complexity. We also extend the l1-regularized objective to the problem of sparsifying entire blocks within the inverse covariance matrix. Our methods generalize fairly easily to this case, while other methods do not. We demonstrate that our extensions give better generalization performance on two real domains--biological network analysis and a 2D-shape modeling image task.

研究の動機と目的

• 高次元設定におけるスパースなガウスマルコフランダムフィールド（GMRF）の学習という課題に取り組む。
• l1 正則化付き逆共分散推定を効率的かつスケーラブルに処理できる最適化手法を開発する。
• 逆共分散行列におけるブロック単位のスパース性を扱えるようにこの手法を拡張する。
• 実世界の生物学的ネットワークおよび画像データに対して、優れた性能と一般化能力を示すことを目的とする。
• 高次元設定において計算的に効率的かつ理論的に妥当な手法を提供する。

提案手法

• 本手法は、スパースな GMRF のための l1 正則化付き最尤推定問題を解くために、射影補グラディエント法を用いる。
• 各ステップで反復計算を正定値コーン上に射影することで、有効な共分散行列を維持する。
• 逆共分散行列におけるスパース性を実現するために、l1 範囲の部分勾配を用いる。
• 逆共分散行列の全ブロックに正則化を適用することで、ブロック単位のスパース性を扱えるように拡張する。
• スケーラブルで、1反復あたりのコストが低い最適化フレームワークを設計しており、高次元データに適している。
• 多くの先行手法とは異なり、構造的スパース性パターンへの一般化が容易である。

実験結果

リサーチクエスチョン

• RQ1 射影補グラディエント法は、スパースな GMRF の学習において、既存手法よりも速い収束を達成できるか？
• RQ2 逆共分散行列に l1 正則化を適用することで、高次元設定においてより良いスパース性と一般化性能が得られるか？
• RQ3 この手法は、逆共分散行列におけるブロック単位のスパース性に自然に拡張可能か？
• RQ4 実世界の生物学的ネットワークおよび画像モデリングタスクにおいて、既存手法と比較して本手法はどのように性能を発揮するか？
• RQ5 提案手法は計算的に効率的かつ漸近的に最適な複雑度を達成できるか？

主な発見

• 射影補グラディエント法は、類似した漸近的複雑度を有するにもかかわらず、実用的には既存手法よりも速い収束を達成する。
• 本手法は、既知の最良の漸近的収束レートを達成しており、理論的最適性を裏付ける。
• ブロック単位のスパース性への拡張により、生物学的ネットワーク解析タスクにおける一般化性能が向上する。
• 2次元形状モデリングの画像タスクにおいても、ブロック構造付き手法はより優れた性能を示す。
• 競合手法が多くの場合、要素単位の正則化を超えて拡張に失敗するのに対し、本手法は構造的スパース性への一般化が容易である。
• 実験的結果により、本手法の有効性が実世界のデータセットにおいて確認され、頑健性とスケーラビリティが示された。