[論文レビュー] A Proximal Approach for a Class of Matrix Optimization Problems

Alessandro Benfenati, Émilie Chouzenoux+1 more|arXiv (Cornell University)|Jan 23, 2018

Sparse and Compressive Sensing Techniques参考文献 56被引用数 5

ひとこと要約

本稿では、Bregman散発とスペクトル正則化を含む行列最適化問題を解くために、Douglas-Rachford分割法に基づく近接アルゴリズムを提案する。主に、反復的最小化（MM）と近接作用素を組み合わせることで、ノイズ下でも精度行列推定に強く、再構成精度とサポート回復の両面で最先端の手法を著しく上回る。特にノイズの高い状況下で顕著な優位性を示す。

ABSTRACT

In recent years, there has been a growing interest in mathematical models leading to the minimization, in a symmetric matrix space, of a Bregman divergence coupled with a regularization term. We address problems of this type within a general framework where the regularization term is split in two parts, one being a spectral function while the other is arbitrary. A Douglas-Rachford approach is proposed to address such problems and a list of proximity operators is provided allowing us to consider various choices for the fit-to-data functional and for the regularization term. Numerical experiments show the validity of this approach for solving convex optimization problems encountered in the context of sparse covariance matrix estimation. Based on our theoretical results, an algorithm is also proposed for noisy graphical lasso where a precision matrix has to be estimated in the presence of noise. The nonconvexity of the resulting objective function is dealt with a majorization-minimization approach, i.e. by building a sequence of convex surrogates and solving the inner optimization subproblems via the aforementioned Douglas-Rachford procedure. We establish conditions for the convergence of this iterative scheme and we illustrate its good numerical performance with respect to state-of-the-art approaches.

研究の動機と目的

• 対称行列空間におけるBregman散発とスペクトル正則化を含む行列最適化問題を解くための柔軟で一般的なフレームワークの構築を目的とする。
• 観測ノイズを考慮した非凸最適化問題として定式化することで、ノイズ下での精度行列推定の課題に取り組む。
• 収束性とノイズ下でのロバスト性を保証する反復的最小化（MM）に基づくアルゴリズムの設計。
• 広範なスペクトルおよび非スペクトル正則化関数に対して明示的な近接作用素を提供し、効率的な実装を可能にする。
• ノイズレベルの上昇に伴う再構成誤差と誤検出率の観点から、既存手法に比べて提案手法の優位性を示すこと。

提案手法

• 問題は、スペクトル関数 $ f $ に関するBregman散発の最小化に、スペクトル正則化 $ g_0 $ と一般正則化 $ g_1 $ の和を加えた形で定式化される。
• 得られた凸部分問題を解くために、Douglas-Rachford分割法が適用され、$ f $, $ g_0 $, $ g_1 $ のさまざまな組み合わせに対して導出された近接作用素が活用される。
• 非凸定式化では、反復的最小化（MM）戦略が用いられ、各サロゲート問題は固定パラメータ $ \gamma_\ell = 1 $, $ \alpha_{\ell,k} = 1 $ を用いたDouglas-Rachford手順で解かれる。
• 正則化関数 $ g_0(\mathbf{C}) = \mu_0 \mathcal{R}_1(\mathbf{C}^{-1}) $ の近接作用素は、唯一の正の根を求める4次方程式の解法により計算される。
• 内側と外側のループに相対差停止基準が用いられ、それぞれ最大2000回および20回の反復が許容され、内側ループの許容誤差は $ 10^{-10} $ である。
• すべての結果が最小限の変更で複素ヒルベルト行列に対しても適用可能となるよう、フレームワークが拡張されている。

実験結果

リサーチクエスチョン

• RQ1 Bregman散発と混合スペクトル／非スペクトル正則化を含む行列最適化問題に対して、統一された近接フレームワークを構築できるか？
• RQ2 明示的な近接作用素を伴う場合、Douglas-Rachford分割法をどのように効果的にこのような行列最適化問題に適用できるか？
• RQ3 ノイズ付きグラフィカルラッソ問題の非凸定式化を、凸部分問題を解く反復的最小化（MM）を用いて、効率的かつロバストに解けるか？
• RQ4 提案手法の再構成精度とサポート回復の観点での性能は、ノイズレベルの上昇に伴い、最先端手法と比較してどの程度優れているか？
• RQ5 ノイズ下での精度行列推定の文脈において、MMに基づく反復スキームが意味のある解に収束する条件は何か？

主な発見

• 提案されたMMベースのアルゴリズムは、特にノイズ分散が増加するに従い、古典的GLASSOおよびノイズに無関心なDR手法に比べ、平均二乗誤差（rmse）の観点で著しく優れている。
• 誤検出率（fpr）の観点でも優れた性能を示し、精度行列のサポート回復において強いノイズ耐性を示している。
• $ n = 100 $, $ p = 10^{-3} $ のスパarsity, 械械的条件数0.125を有する合成データセットにおいて、8つのノイズレベルすべてで最良の再構成品質を達成した。
• 提案された停止基準のもとで、MMアルゴリズムの収束が保証され、外側の反復は目的関数値の相対差が $ 10^{-8} $ 未満に下がった段階で終了する。
• 非スペクトル部 $ g_1 = \mu_1 \|\cdot\|_1 $ の近接作用素は、ソフトスレッショーティングにより効率的に計算可能である一方、スペクトル部 $ g_0 $ は正の根を求める4次方程式の解法を要する。
• すべての理論的結果が複素ヒルベルト行列へと容易に拡張可能であり、実対称行列に限らない広範な適用可能性を保証している。