[論文レビュー] Gradient Based Methods for Non-Smooth Regularization Via Convolution Smoothing

Sergey Voronin, Davis Yoshida|arXiv (Cornell University)|Aug 28, 2014

Sparse and Compressive Sensing Techniques参考文献 16被引用数 2

ひとこと要約

この論文は、絶対値項を含む滑らかでない正則化問題を、勾配で表現可能な滑らかな形に変換する畳み込みに基づく平滑化技術を導入する。非微分可能な項を畳み込みにより近似することで、勾配ベース最適化（例：勾配降下法、共役勾配法）の効率的利用が可能となり、線形逆問題におけるスパース解の回復において、わずか数反復で高速収束を達成する。

ABSTRACT

We present a smoothing technique which allows for the use of gradient based methods (such as steepest descent and conjugate gradients) for non-smooth regularization of inverse problems. As an application of this technique, we consider the problem of finding regularized solutions of linear systems Ax = b with sparsity constraints. Such problems involve the minimization of a functional with an absolute value term, which is not smooth. We replace the non-smooth term by a smooth approximation, computed via a convolution. We are then able to compute gradients and Hessians, and utilize standard gradient based methods which yield good numerical performance in few iterations. 1

研究の動機と目的

• 絶対値項を含む滑らかでない正則化問題に勾配ベース最適化を適用する課題に対処すること。
• 微分不能な正則化項の滑らかな近似を構築し、勾配計算を可能にすること。
• スパarsity制約を伴う線形逆問題にこの平滑化技術を適用すること、例えば ||Ax - b||² + λ||x||₁ の最小化。
• 滑らかにされた関数に対する勾配法が、高速かつ数値的に安定した収束を達成することを示すこと。

提案手法

• 非滑らかな ℓ¹-ノルム項 ||x||₁ を、モリファイア核との畳み込みにより滑らかな近似に置き換える。
• 絶対値関数を滑らかで compact な台を持つ核と畳み込んで滑らかな関数を構築し、C∞ 近似を得る。
• 滑らかな関数の勾配とヘッセ行列を計算し、共役勾配法などの標準的な最適化手法の利用を可能にする。
• 滑らかにされた関数を、Tikhonov 型問題に適用する：||Ax - b||² + λ‖x‖₁ を最小化する問題を、勾配降下法が適用可能にする。
• 平滑化パラメータが元の滑らかでない項の近似精度と滑らかさのトレードオフを制御することを保証する。

実験結果

リサーチクエスチョン

• RQ1 ℓ¹-正則化を伴う滑らかでない正則化問題は、勾配ベース手法で効果的に解けるか？
• RQ2 畳み込みに基づく平滑化により、滑らかでない絶対値関数はどの程度正確に近似できるか？
• RQ3 平滑化パラメータは勾配法の収束性と精度にどのような影響を与えるか？
• RQ4 滑らかにされた定式化は、元の ℓ¹-正則化が持つスパース性促進特性を維持するか？

主な発見

• 畳み込みに基づく平滑化手法により、滑らかでない正則化問題が滑らかで勾配で表現可能な形にうまく変換された。
• 滑らかにされた関数に勾配法を適用することで、わずか数反復で高速収束が達成された。
• この手法は ℓ¹-正則化が持つスパース性誘導特性を維持しており、スパース解の回復が可能になった。
• 絶対値関数の滑らかな近似により、勾配とヘッセ行列の信頼性ある計算が可能になった。