[論文レビュー] L0 Sparse Inverse Covariance Estimation

Goran Marjanovic, Alfred O. Hero|arXiv (Cornell University)|Aug 5, 2014

Sparse and Compressive Sensing Techniques参考文献 25被引用数 4

ひとこと要約

本稿は、スパースな精度行列の非凸 $l_0$-ペナルティ付き対数尤度推定のための新しい周期的勾配降下法を提案し、局所最小値への収束を証明する。この手法は $l_1$-ベースの手法と比較して、より優れたスパarsityとバイアス低減を達成し、シミュレーションにおいてより高い推定精度を示す。

ABSTRACT

Recently, there has been focus on penalized log-likelihood covariance estimation for sparse inverse covariance (precision) matrices. The penalty is responsible for inducing sparsity, and a very common choice is the convex $l_1$ norm. However, the best estimator performance is not always achieved with this penalty. The most natural sparsity promoting "norm" is the non-convex $l_0$ penalty but its lack of convexity has deterred its use in sparse maximum likelihood estimation. In this paper we consider non-convex $l_0$ penalized log-likelihood inverse covariance estimation and present a novel cyclic descent algorithm for its optimization. Convergence to a local minimizer is proved, which is highly non-trivial, and we demonstrate via simulations the reduced bias and superior quality of the $l_0$ penalty as compared to the $l_1$ penalty.

研究の動機と目的

• スパース性が極めて高い状況下で不十分なスパarsityとバイアスを示す $l_1$-ペナルティ付き精度行列推定の限界を解消すること。
• スパースな精度行列推定のための非凸 $l_0$-ペナルティ付き対数尤度最適化フレームワークを構築すること。
• 非凸 $l_0$ ペナルティに特化した収束性を有する周期的勾配降下法を設計し、非凸問題における収束解析の課題を克服すること。
• 実験的に $l_0$ ペナルティが $l_1$ ペナルティよりも低いバイアスとより優れたスパース推定器をもたらすことを示すこと。

提案手法

• 非対角成分を1つずつ逐次最適化する周期的勾配降下法を提案し、非凸な $l_0$ ペナルティを扱うために補助関数を用いる。
• 主要化・最小化アプローチにより降下方向を定義し、各ステップで目的関数が十分に減少することを保証する。
• 進行度を定量化し収束を証明するために、降下尺度 $\mathcal{D}(x_{ij}^k, x_{ij}^{k+1})$ を導入する。
• Ostrowskiの定理を用いて、反復点の極限点集合が閉かつ連結であることを示し、単一の固定点への収束を可能にする。
• 非凸設定下でも目的関数の十分な減少を保証するためにラインサーチ戦略を適用する。
• 連続する反復点の差が消えることと、すべての極限点が更新ルールの固定点であることを示し、局所最小値への収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 $l_0$-ペナルティ付き精度行列推定が、高次元ガウスグラフィカルモデルにおいて $l_1$-ペナルティ付き推定を上回るスパarsityとバイアス低減を達成できるか。
• RQ2 非凸 $l_0$-ペナルティ付き対数尤度推定のための収束性を有する最適化アルゴリズムを設計可能か。
• RQ3 提案手法の $l_0$ ベース推定器は、推定精度とスパarsity回復の観点で $l_1$ ベース推定器と比較してどのように性能を発揮するか。
• RQ4 非凸かつ非滑らかであるような最適化問題、たとえば $l_0$-ペナルティ付き精度行列推定において、周期的勾配降下法にどのような理論的保証を設定できるか。

主な発見

• 提案された周期的勾配降下法は、非凸 $l_0$-ペナルティ付き対数尤度目的関数の局所最小値に収束する。
• $l_0$ ペナルティは、特に非常にスパースな状況下で $l_1$ ペナルティよりも顕著にスパースな精度行列を誘導する。
• シミュレーションでは、$l_0$ ベース推定器が $l_1$ ベース推定器よりも低いバイアスを示し、推定精度が向上することが明らかになった。
• より強いスパarsity促進効果により、モデルの簡潔性が向上し、過学習が低減される。
• 降下尺度と Ostrowski の定理を活用した、非凸かつ非滑らか問題に特化した新規な解析フレームワークにより収束が証明された。
• 真の精度行列が極めてスパースな場合に特に顕著に、スパarsityの質と推定の忠実度の両面で $l_1$-ベース手法を上回る性能を発揮した。