[論文レビュー] Proximal Activation of Smooth Functions in Splitting Algorithms for Convex Minimization

Patrick L. Combettes, Lilian E. Glaudin|arXiv (Cornell University)|Mar 7, 2018

Sparse and Compressive Sensing Techniques参考文献 56被引用数 5

ひとこと要約

本稿では、凸最適化の分割アルゴリズムにおける滑らかな関数のための新しい近位活性化アプローチを提案する。滑らかでない関数と同様に、すべての関数を近位的に扱うことで、優れた数値的性能が得られることを示している。著者らは、一般的に用いられる滑らかな凸関数の近位作用素を導出するとともに、一貫性のない凸凸適合問題を緩和するための新しい変分モデルを提案し、画像回復への応用において効率の向上を示している。

ABSTRACT

Structured convex optimization problems typically involve a mix of smooth and nonsmooth functions. The common practice is to activate the smooth functions via their gradient and the nonsmooth ones via their proximity operator. We show that, although intuitively natural, this approach is not necessarily the most efficient numerically and that, in particular, activating all the functions proximally may be advantageous. To make this viewpoint viable computationally, we derive the proximity operators of various smooth convex functions arising in applications. We also propose a new variational model to relax inconsistent convex feasibility problems. Numerical applications to image recovery are presented.

研究の動機と目的

• 分割アルゴリズムにおける滑らかな関数の勾配ベースの活性化という従来の慣習に挑戦すること。
• 滑らかでない関数に加え、滑らかな関数を含めたすべての関数を近位的に活性化することで、より優れた数値的性能が得られるかどうかを調査すること。
• 画像処理などの応用でよく用いられる一般的な滑らかな凸関数の近位作用素を導出すること。
• 一貫性のない凸適合問題を緩和するための新しい変分モデルを提案すること。
• 画像回復における数値的応用を通じて、提案手法の有効性を実証すること。

提案手法

• 実応用で現れるさまざまな滑らかな凸関数の近位作用素を導出すること。
• すべての関数—滑らかでない関数と滑らかな関数—を勾配ではなく近位作用素を介して活性化するように、分割アルゴリズムを再定式化すること。
• 近位作用素に基づく新しい変分モデルを導入し、一貫性のない凸適合問題を緩和すること。
• 滑らかでない成分と滑らかな成分の両方の近位活性化を活用する分割アルゴリズムを設計および実装すること。
• 標準的な勾配ベースの手法と比較して、画像回復問題における性能を数値的に検証すること。

実験結果

リサーチクエスチョン

• RQ1 凸最適化の分割アルゴリズムにおいて、滑らかな関数の近位活性化は勾配ベースの活性化よりも数値的に効率的であるか？
• RQ2 画像処理などの応用で用いられる一般的な滑らかな凸関数の近位作用素は何か？
• RQ3 近位作用素に基づく新しい変分モデルは、一貫性のない凸適合問題を効果的に緩和できるか？
• RQ4 画像回復タスクにおいて、近位のみの分割アルゴリズムの性能は、古典的な勾配ベースのアプローチと比べてどうか？
• RQ5 滑らかな関数を勾配ではなく近位作用素によって扱うことに、理論的および実用的意味は何か？

主な発見

• 滑らかな関数の近位活性化は、分割アルゴリズムにおける標準的な勾配ベースの手法と比較して、より優れた数値的性能を示す。
• 著者らは、実世界の応用に関連する多様な滑らかな凸関数の近位作用素を成功裏に導出した。
• 提案された変分モデルにより、一貫性のない凸適合問題の効果的な緩和が可能になり、耐障害性が向上した。
• 画像回復における数値実験では、すべての関数に対して近位活性化を用いることで、収束が速く安定性も向上した。
• 従来の勾配ベースと近位活性化の分離は最適ではなく、統一的な近位アプローチの方がより効果的である可能性が示唆された。