[論文レビュー] On a decomposition formula for the proximal operator of the sum of two convex functions

Samir Adly, Loïc Bourdin+1 more|arXiv (Cornell University)|Jul 26, 2017

Optimization and Variational Analysis被引用数 6

ひとこと要約

本稿では、2つの凸関数の和の近接作用素に対する新しい分解公式を導入し、$f$-近接作用素と呼ばれる新しい作用素 $\mathrm{prox}^{f}_{g}$ を定義する。主な結果は $\mathrm{prox}_{f+g} = \mathrm{prox}_{f} \circ \mathrm{prox}^{f}_{g}$ であり、弱収束性を持つアルゴリズムによる数値計算を可能にするとともに、ヒルバート空間における2次変分不等式の感度解析の理論的基盤を提供する。

ABSTRACT

The main result of the present theoretical paper is an original decomposition formula for the proximal operator of the sum of two proper, lower semicontinuous and convex functions $f$ and $g$. For this purpose, we introduce a new operator, called $f$-proximal operator of $g$ and denoted by $\mathrm{prox}^f_g$, that generalizes the classical notion. Then we prove the decomposition formula $\mathrm{prox}_{f+g} = \mathrm{prox}_f \circ \mathrm{prox}^f_g$. After collecting several properties and characterizations of $\mathrm{prox}^f_g$, we prove that it coincides with the fixed points of a generalized version of the classical Douglas-Rachford operator. This relationship is used for the construction of a weakly convergent algorithm that computes numerically this new operator $\mathrm{prox}^f_g$, and thus, from the decomposition formula, allows to compute numerically $\mathrm{prox}_{f+g}$. It turns out that this algorithm was already considered and implemented in previous works, showing that $\mathrm{prox}^f_g$ is already present (in a hidden form) and useful for numerical purposes in the existing literature. However, to the best of our knowledge, it has never been explicitly expressed in a closed formula and neither been deeply studied from a theoretical point of view. The present paper contributes to fill this gap in the literature. Finally we give an illustration of the usefulness of the decomposition formula in the context of sensitivity analysis of linear variational inequalities of second kind in a Hilbert space.

研究の動機と目的

• 一般の凸関数 $f$ と $g$ に対して $\mathrm{prox}_{f+g}$ を $\mathrm{prox}_f$ と $\mathrm{prox}_g$ の形で表すという未解決問題に取り組む。
• 古典的近接作用素の一般化である $f$-近接作用素 $\mathrm{prox}^{f}_{g}$ を形式的に定義し、その性質を検討する。
• $\mathrm{prox}^{f}_{g}$ と Douglas-Rachford 作用素との理論的関係を確立し、数値計算を可能にする。
• 分解公式をヒルバート空間上での2次変分不等式の感度解析に応用する。
• $\mathrm{prox}_{f+g}$ が $\mathrm{prox}_f$, $\mathrm{prox}_g$, およびそれらの逆作用素の合成の線形結合として一様な閉形式で表せないことを証明する。

提案手法

• $f$-近接作用素 $\mathrm{prox}^{f}_{g}$ を、$f$ と $g$ を含む変分不等式を用いて定義し、古典的近接作用素の一般化として導入する。
• 近接作用素の和の分解公式 $\mathrm{prox}_{f+g} = \mathrm{prox}_{f} \circ \mathrm{prox}^{f}_{g}$ を証明し、和の近接作用素を合成として表現する。
• $\mathrm{prox}^{f}_{g}$ を一般化された Douglas-Rachford 作用素の不動点として特徴づけ、反復的数値計算を可能にする。
• Douglas-Rachford スキームとの関係を活用して、$\mathrm{prox}^{f}_{g}$ を数値的に計算する弱収束性を持つアルゴリズムを提案する。
• 分解公式を用いて、パrameter依存変分不等式の解の漸近展開を導出し、$t=0$ における感度解析を可能にする。
• 任意の線形結合として $\mathrm{prox}_{f+g}$ が $\mathrm{I}$, $\mathrm{prox}_f$, $\mathrm{prox}_g$, $\mathrm{prox}_f^{-1}$, $\mathrm{prox}_g^{-1}$ の合成の線形結合として一様に表現可能でないことを証明する。

実験結果

リサーチクエスチョン

• RQ1 2つの凸関数の和の近接作用素は、より単純な近接作用素の合成として表現可能か？
• RQ2 新たに定義された $f$-近接作用素 $\mathrm{prox}^{f}_{g}$ の理論的・数値的意義は何か？
• RQ3 $\mathrm{prox}^{f}_{g}$ は Douglas-Rachford スキームとどのように関係しているか？
• RQ4 分解公式は、非滑らかな制約を含む変分不等式における感度解析に応用可能か？
• RQ5 $\mathrm{prox}_f$, $\mathrm{prox}_g$, およびそれらの逆作用素の形で、$\mathrm{prox}_{f+g}$ の一様な閉形式が存在するか？

主な発見

• 分解公式 $\mathrm{prox}_{f+g} = \mathrm{prox}_{f} \circ \mathrm{prox}^{f}_{g}$ は、ヒルバート空間上でのすべてのproper, 下半連続, 凸関数 $f$ と $g$ に対して成立する。
• $f$-近接作用素 $\mathrm{prox}^{f}_{g}$ は、一般化された Douglas-Rachford 作用素の不動点として特徴づけられ、数値的アルゴリズムの弱収束性を保証する。
• $\mathrm{prox}^{f}_{g}$ を計算するアルゴリズムは弱収束性を示し、分解公式を介して $\mathrm{prox}_{f+g}$ の数値計算が可能である。
• 分解公式により、2次変分不等式の感度解析の新たなアプローチが可能となり、$u'(0)$ の表現が $\mathrm{prox}^{\varphi_f}_{\psi_g}$ を用いて得られる。
• 存在しないことを示す結果を証明した：$\mathrm{I}$, $\mathrm{prox}_f$, $\mathrm{prox}_g$, $\mathrm{prox}_f^{-1}$, $\mathrm{prox}_g^{-1}$ の合成の線形結合として、$\mathrm{prox}_{f+g}$ の一様な閉形式は存在しない。
• 理論的枠組みは、古典的結果（例：Mignotの射影に関する漸近展開）を回復・一般化し、滑らかでない設定へと拡張する。