[論文レビュー] Variable Smoothing for Weakly Convex Composite Functions

B\"ohm, Axel, Wright, Stephen J.|arXiv (Cornell University)|Mar 17, 2020

Sparse and Compressive Sensing Techniques参考文献 46被引用数 14

ひとこと要約

本稿では、弱凸合成関数を最小化するための可変スムージングアルゴリズムを提案する。より小さいスムージングパラメータを用いたモアレ・エンVELOPEを用いて、ϵ-近似定常点を求めるための反復複雑度O(ϵ⁻³)を達成する。この手法はプロキシマル作用素を活用し、滑らかさ(O(ϵ⁻²))と劣勾配法(O(ϵ⁻⁴))の間を補間し、非凸正則化子を用いた画像再構成などの構造的非滑らか問題における収束性を向上させる。

ABSTRACT

We study minimization of a structured objective function, being the sum of a smooth function and a composition of a weakly convex function with a linear operator. Applications include image reconstruction problems with regularizers that introduce less bias than the standard convex regularizers. We develop a variable smoothing algorithm, based on the Moreau envelope with a decreasing sequence of smoothing parameters, and prove a complexity of $\mathcal{O}(\epsilon^{-3})$ to achieve an $\epsilon$-approximate solution. This bound interpolates between the $\mathcal{O}(\epsilon^{-2})$ bound for the smooth case and the $\mathcal{O}(\epsilon^{-4})$ bound for the subgradient method. Our complexity bound is in line with other works that deal with structured nonsmoothness of weakly convex functions.

研究の動機と目的

• 滑らか項と線形作用素による弱凸関数の合成を含む合成関数の最小化という課題に対処する。
• スパース復元や画像再構成におけるℓ1正則化子のバイアスを克服するため、MCP や SCAD などの非凸的で弱凸的な代替正則化子を採用する。
• 非滑らか成分をスムージングするためのモアレ・エンVELOPE を活用しながら、プロキシマル作用素による計算の実行可能性を保つ構造的アルゴリズムを開発する。
• ϵ-近似定常性を達成するための収束速度をO(ϵ⁻³)として確立する。これは滑らかさと劣勾配法の中間をとる。
• 画像ノイズ除去の実験を通じて、可変スムージングがナイーブな劣勾配法を上回ることを示す。

提案手法

• 弱凸関数gのスムージング近似としてモアレ・エンVELOPEを用い、パrameter µ でパラメータ化することで、滑らかな代替目的関数Fµ = h + gµ ◦ A を構築する。
• 勾配ベースの勾配降下ステップ x ← x − γ∇(h + gµ ◦ A)(x) を適用し、適応的ステップサイズγを用いて滑らかな目的関数を最小化する。
• 滑らかさパラメータの減少列{µk}を用いて、近似を段階的に精緻化し、収束を促進する。
• MCP や SCAD、Tukey biweight などの主要な非凸正則化子に対して、µg のプロキシマル作用素が閉形式で計算可能であることを保証し、効率的な実装を可能にする。
• モアレ・エンVELOPEの勾配ノルムに基づく臨界性測度を用いて収束を分析し、これは定常性の滑らかな代理指標として機能する。
• 臨界性と実行可能性の両測度の低下を、k⁻¹/³ の割合で減少するように選んだµk列によりバランスさせ、最適な収束速度を保証する。

実験結果

リサーチクエスチョン

• RQ1 モアレ・エンVELOPEによる可変スムージングは、弱凸合成問題に対してブラックボックス劣勾配法よりも優れた反復複雑度を達成できるか？
• RQ2 提案されたアルゴリズムの収束速度は、滑らかな非凸問題に対する標準的勾配降下法と比べてどの程度か？
• RQ3 MCP や SCAD などの弱凸正則化子を用いることで、画像再構成においてℓ1正則化と比較して解のバイアスはどの程度低減されるか？
• RQ4 臨界性と実行可能性の両方をバランスさせるために、滑らかさパラメータ列{µk}の最適な減少率は何か？
• RQ5 可変スムージングフレームワークは、単純な加法的形態を超えて、一般の線形作用素Aを含む合成構造g(Ax)に対しても拡張可能か？

主な発見

• 提案された可変スムージングアルゴリズムは、ϵ-近似定常点を求める反復複雑度O(ϵ⁻³)を達成する。これは滑らかな非凸問題のO(ϵ⁻²)の境界と劣勾配法のO(ϵ⁻⁴)の境界の間にある。
• この収束速度は弱凸合成問題のクラスに対して最適であり、他の構造的非滑らか手法の既知の境界と一致する。
• 数値実験では、MCPに基づく全変動正則化を用いた画像ノイズ除去において、ナイーブな劣勾配スキームに比べて収束が早く、再構成品質も優れている。
• モアレ・エンVELOPEは弱凸関数の効果的なスムージング近似を提供し、勾配ベース最適化を可能にしながらも、元の問題の構造を保つ。
• Aが恒等作用素である場合、プロキシマル勾配法はO(ϵ⁻²)の複雑度を達成する。これはO(ϵ⁻³)の境界が線形作用素の合成に起因することを確認する。
• 解析により、臨界性と実行可能性の両測度がO(k⁻¹/³)の速度で減少することが示され、滑らかさ列の選択におけるバランスの取れたトレードオフが裏付けられる。