[論文レビュー] Convolution based smooth approximations to the absolute value function with application to non-smooth regularization

Sergey Voronin, Gorkem Ozkaya+1 more|arXiv (Cornell University)|Aug 28, 2014

Sparse and Compressive Sensing Techniques参考文献 18被引用数 11

ひとこと要約

本稿では、ガウス型滑らか化子を用いた畳み込みに基づく絶対値関数の滑らか近似を導入し、非滑らかでスパース性を促進する正則化問題における勾配ベース最適化を可能にする。この手法により、$F_p(x)$ の効率的な最小化が共役勾配法やニュートン法を用いて実現され、特に $p<1$ で高ノイズ条件下において FISTA より優れた復元性能を達成する。

ABSTRACT

We present new convolution based smooth approximations to the absolute value function and apply them to construct gradient based algorithms such as the nonlinear conjugate gradient scheme to obtain sparse, regularized solutions of linear systems $Ax = b$, a problem often tackled via iterative algorithms which attack the corresponding non-smooth minimization problem directly. In contrast, the approximations we propose allow us to replace the generalized non-smooth sparsity inducing functional by a smooth approximation of which we can readily compute gradients and Hessians. The resulting gradient based algorithms often yield a good estimate for the sought solution in few iterations and can either be used directly or to quickly warm start existing algorithms.

研究の動機と目的

• 非滑らかで非凸なスパース性誘導汎関数 $F_p(x)$（$p<1$）を最小化する課題に取り組むこと。これは、標準的な部分勾配法では最適化が困難である。
• 非凸な $\ell_p$-ノルム（$p<1$）における微分不能性を克服するため、絶対値関数の滑らか近似を構築すること。
• 滑らか化された汎関数に、効率的な勾配ベース最適化アルゴリズム（例：非線形共役勾配法、ニュートン法）を適用可能にすることで、より高速かつ高精度なスパース解を得ること。
• $\ell_1$ 正則化にとどまらず、非凸な $\ell_p$-ベースの問題にも適用可能な柔軟で汎用的な滑らか化フレームワークを提供すること。
• 数値的に、$p \approx 0.83$ の滑らか近似が、高ノイズ下の圧縮センシングにおいて $p=1$ よりも優れた再構成精度を達成することを示すこと。

提案手法

• ガウスカーネルとの畳み込みにより $|t|$ の滑らか近似を構築する：$s_{\sigma}(t) = (|\cdot| * \mathcal{N}_{\sigma})(t)$。$\sigma \to 0$ のとき $L^1$ 収束を保証する。
• $F_p(x) = \|Ax-b\|_2^2 + 2\tau\|x\|_p$ の非滑らか汎関数に対する滑らか近似 $H_{p,\sigma}(x)$ を定義し、$|x_k|$ を畳み込みに基づく滑らかバージョンに置き換える。
• 勾配 $\nabla_x H_{p,\sigma}(x)$ およびヘッセ行列 $\nabla^2_x H_{p,\sigma}(x)$ の解析的表現を導出し、2次最適化手法の適用を可能にする。
• ヘッセ行列に基づくまたは有限差分近似を用いたラインサーチを用いた非線形共役勾配法およびハイブリッドスキーム（例：5ステップのニュートン法を組み込んだCG）を実装する。
• 反復的解法において、$p=1$ にはソフトスレッショルド、$p<1$ にはハードスレッショルドを適用し、解のスパース性を促進する。
• 正則化パスに沿って $\tau$ を低くする際、より高い $\tau$ 値からの解を再利用することでウォームスタートを実現する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みに基づく絶対値関数の滑らか化は、$L^1$ ノルムで元の関数に収束する滑らかで微分可能な近似を提供できるか？
• RQ2 $p<1$ の場合に元の汎関数が微分不能であるが、滑らか化された $\ell_p$-正則化問題に勾配ベース最適化法を効果的に適用できるか？
• RQ3 滑らか化された汎関数において $p<1$ を用いることで、ノイズの高い状況下の圧縮センシングにおいて $p=1$ よりも優れたスパース復元性能が得られるか？
• RQ4 滑らか化された関数に対する共役勾配法およびニュートン法が、収束速度および再構成精度の面で FISTA を上回るか？
• RQ5 滑らか化パラメータ $\sigma$ の選定およびヘッセ行列に基づくラインサーチの使用が、最適化スキームの数値的安定性と性能に与える影響は何か？

主な発見

• 畳み込みに基づく $|t|$ の滑らか近似は、$\sigma \to 0$ のとき $L^1$ ノルムで収束し、滑らか汎関数 $H_{p,\sigma}(x)$ が $F_p(x)$ をよく近似することを保証する。
• $p=1$ の場合、$H_{p,\sigma}(x)$ に対する共役勾配法は、特に高ノイズ条件下で FISTA よりも少ない反復回数でより高い再構成精度を達成する。
• $p=0.83$ を滑らか化された汎関数に用いることで、$p=1$ よりも低い復元誤差が得られ、圧縮センシングにおける非凸 $\ell_p$ 正則化の性能向上を示している。
• CGスキーム内に5ステップのニュートン反復を組み込むことで、解の品質がわずかに向上し、滑らか化された関数上での高次最適化の利点を示している。
• 滑らか化された近似フレームワークにより、非滑らかなスパース問題に対する勾配ベースソルバの効率的利用が可能となり、既存のスレッショルド法に対する代替手法やウォームスタート戦略として有効である。
• すべてのCGベースのスキームは、$5000 \times 5025$ のセンシング行列を用いた画像再構成実験で FISTA を上回り、特に $p=0.83$ のバージョンがテスト環境で最小のパcent誤差（1.8%）を達成した。