[論文レビュー] On the acceleration of the double smoothing technique for unconstrained convex optimization problems

Radu Ioan Boţ, Christopher Hendrich|arXiv (Cornell University)|May 3, 2012

Sparse and Compressive Sensing Techniques参考文献 3被引用数 4

ひとこと要約

この論文は、目的関数の性質が収束速度に与える影響を分析することで、非制約凸最適化における二重スムージング技法の高速化を実現する。関数が強く凸であるか、Lipschitz連続な勾配を持つ場合、収束速度が $O\left(\frac{1}{\epsilon}\ln\left(\frac{1}{\epsilon}\right)\right)$ から $O\left(\frac{1}{\sqrt{\epsilon}}\ln\left(\frac{1}{\epsilon}\right)\right)$ あるいは $O\left(\ln\left(\frac{1}{\epsilon}\right)\right)$ に改善され、Fenchel双対性と高速勾配法を用いることで、非微分可能凸問題の解法における効率が著しく向上する。

ABSTRACT

In this article we investigate the possibilities of accelerating the double smoothing technique when solving unconstrained nondifferentiable convex optimization problems. This approach relies on the regularization in two steps of the Fenchel dual problem associated to the problem to be solved into an optimization problem having a differentiable strongly convex objective function with Lipschitz continuous gradient. The doubly regularized dual problem is then solved via a fast gradient method. The aim of this paper is to show how do the properties of the functions in the objective of the primal problem influence the implementation of the double smoothing approach and its rate of convergence. The theoretical results are applied to linear inverse problems by making use of different regularization functionals.

研究の動機と目的

• 非制約的非微分可能凸最適化問題を解くための二重スムージング技法の収束速度を向上させること。
• 主問題における目的関数の構造的性質が、二重スムージング手法の実装および収束速度に与える影響を調査すること。
• 強く凸性やLipschitz連続勾配といった追加仮定のもとで、より緊密な収束レートを確立すること。
• 画像のぼかし除去および逆問題への応用を通じて、加速手法の実用的有効性を示すこと。

提案手法

• 主問題を双対問題に変換するためのFenchel双対性を用いる。双対問題の目的関数は非微分可能である。
• 二段階の正則化を双対問題に適用し、目的関数を微分可能かつ強く凸にし、Lipschitz連続な勾配を持つようにする。
• 正則化された双対問題を高速勾配法で解き、元の関数の滑らかさおよび凸性の性質に依存する収束速度を保証する。
• 共役関数から導かれた明示的な式を用いて、双対反復から近似的に最適な主問題の解を再構成する。
• 双対関数の二重共役性および劣微分計算を活用し、収束および最適性条件が満たされることを保証する。
• ISTAおよびFISTAと比較するため、$l_1$および$l_2$-$l_1$正則化関数を用いた画像のぼかし除去問題において数値的検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 主問題における関数の凸性および滑らかさの性質が、二重スムージング技法の収束速度にどのように影響するか。
• RQ2 関数が強く凸であるか、Lipschitz連続な勾配を持つ場合、収束速度を向上させることができるか。
• RQ3 関数の有効定義域が有界でない場合、二重スムージング法の理論的収束速度は何か。
• RQ4 二重スムージング枠組みにおいて、双対反復から近似的に最適な主問題解をどのように効率的に回復できるか。
• RQ5 画像再構築タスクにおいて、加速された二重スムージング法は、ISTA や FISTA といった標準的一階法と比べて実際どのように性能を発揮するか。

主な発見

• 関数 $g$ が強く凸である場合、有効定義域が有界でなくても、収束速度は $O\left(\frac{1}{\epsilon}\ln\left(\frac{1}{\epsilon}\right)\right)$ のまま維持される。
• 関数 $f$ が強く凸であるか、$g$ が至る所で微分可能かつLipschitz連続な勾配を持つ場合、収束速度は $O\left(\frac{1}{\sqrt{\epsilon}}\ln\left(\frac{1}{\epsilon}\right)\right)$ に改善される。
• 関数 $f$ が強く凸であり、$g$ が微分可能かつLipschitz勾配を持つ場合、収束速度は最適な $O\left(\ln\left(\frac{1}{\epsilon}\right)\right)$ に達する。
• 二重スムージング法は、双対反復から得られる近似的最適主問題解を、双対問題と同一の収束速度で効果的に再構成できる。
• 画像のぼかし除去における数値実験では、二重スムージング法がISNR（信号対雑音比）および再構築品質の観点で、ISTA や FISTA を上回ることが示された。
• 特に関数の性質が有利な場合、標準的一階法よりも収束が速く、画像再構築品質が優れている。