[論文レビュー] The Baillon-Haddad Theorem Revisited

Heinz H. Bauschke, Patrick L. Combettes|ArXiv.org|Jun 4, 2009

Optimization and Variational Analysis参考文献 20被引用数 45

ひとこと要約

この論文は、Baillon-Haddad定理を再考し、凸関数の勾配がリプシッツ連続かつココーサイティブであることを特徴付ける4つの同値条件を含む、簡潔な新しい証明を提示するとともに、2回連続的にFréchet微分可能な関数に対する2次バージョンの定理を確立する。リプシッツ連続性とココーサイティブ性が2次微分可能性のもとで同値であることを示し、Moreauの包絡関数と近接作用素を含む作用素論的・凸解析的道具を用いる。

ABSTRACT

In 1977, Baillon and Haddad proved that if the gradient of a convex and continuously differentiable function is nonexpansive, then it is actually firmly nonexpansive. This result, which has become known as the Baillon-Haddad theorem, has found many applications in optimization and numerical functional analysis. In this note, we propose short alternative proofs of this result and strengthen its conclusion.

研究の動機と目的

• 凸解析およびMoreau包絡関数理論を用いて、Baillon-Haddad定理の短く新規な証明を提供すること。
• 元の定理を強化し、勾配がリプシッツ連続かつココーサイティブであることを特徴付ける4つの追加の同値条件を同定すること。
• 2回連続的にFréchet微分可能な凸関数に対して、Baillon-Haddad結果を2次元に拡張すること。
• Moreauの分解と近接作用素を通じて、ココーサイティブ性、リプシッツ連続性、強い凸性の関係を明確にすること。

提案手法

• 凸関数の勾配をその共役の近接写像を用いて再表現するため、Moreau包絡関数と近接作用素の枠組みを用いる。
• Moreauの分解恒等式を用いて、関数のMoreau包絡関数をその共役および二乗ノルムに関連付ける。
• 近接作用素が強非拡大であるという特徴づけを用いて、ココーサイティブ性の同値条件を導出する。
• 平均値定理と作用素ノルムの上限を用いて、勾配のリプシッツ連続性をヘッセ行列の作用素ノルムに関連付ける。
• 自己随伴有界線形作用素を用いたスペクトル理論を適用し、勾配のスケーリングの非拡大性および強非拡大性を特徴付ける。
• ヘッセ行列がスケーリングのもとで区間 [0, Id] に含まれることを示すことにより、2次元の場合に勾配のリプシッツ連続性とココーサイティブ性が同値であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 凸解析およびMoreau包絡関数理論を用いて、Baillon-Haddad定理をより簡潔に証明できるか？
• RQ2 勾配がリプシッツ連続かつココーサイティブである凸関数を特徴付ける追加の同値条件は何か？
• RQ3 勾配のリプシッツ連続性とココーサイティブ性の同値性は、2回連続微分可能な関数に対しても成立するか？
• RQ4 ヘッセ行列の性質は、スケーリングされた勾配の非拡大性および強非拡大性とどのように関係するか？

主な発見

• 凸かつFréchet微分可能な関数の勾配は、$1/\beta$-ココーサイティブであるための必要十分条件は、$\beta$-リプシッツ連続であることであり、この同値性は4つの追加の同値条件によって強化される。
• 関数 $f$ は、$\beta$-リプシッツ勾配をもつFréchet微分可能関数であるための必要十分条件は、$f^* - q/\beta$ が凸であること、すなわち $f^*$ が $1/\beta$-強く凸であることである。
• 勾配 $\nabla f$ は、$\operatorname{Prox}_{\beta h} \circ \beta\operatorname{Id}$ に等しく、ここで $h = f^* - q/\beta$ であり、勾配の近接表現が得られる。
• 2回連続的にFréchet微分可能な関数に対して、$\nabla f$ が $\beta$-リプシッツ連続であることと、$\nabla f$ が $1/\beta$-ココーサイティブであることとは、ヘッセ行列 $\nabla^2 f(x) \succeq 0$ かつ $\|\nabla^2 f(x)/\beta\| \leq 1$ の条件下で同値である。
• スケーリングされた勾配 $G = (1/\beta)\nabla f$ が非拡大であるための必要十分条件は、ヘッセ行列 $H(x) = \nabla^2 f(x)/\beta$ が $\|H(x)\| \leq 1$ を満たすことであり、これは $H(x) \in [-\operatorname{Id}, \operatorname{Id}]$ と同値である。
• 作用素 $2G - \operatorname{Id}$ が非拡大であるための必要十分条件は、$G$ が強非拡大であることであり、これは $\nabla f$ が $1/\beta$-ココーサイティブであることとちょうど一致する。