[論文レビュー] On the Fenchel Duality between Strong Convexity and Lipschitz Continuous Gradient

Xingyu Zhou|arXiv (Cornell University)|Mar 17, 2018

Optimization and Variational Analysis被引用数 52

ひとこと要約

tldr: 本論文は Fenchel duality の簡潔な証明を提供する: 閉包された強凸関数はリプシッツ勾配を持つ共役を持ち、逆もまた然り。サブ勾配を用いた一般化された凸性の同値性を用いて導く。

ABSTRACT

We provide a simple proof for the Fenchel duality between strong convexity and Lipschitz continuous gradient. To this end, we first establish equivalent conditions of convexity for a general function that may not be differentiable. By utilizing these equivalent conditions, we can directly obtain equivalent conditions for strong convexity and Lipschitz continuous gradient. Based on these results, we can easily prove Fenchel duality. Beside this main result, we also identify several conditions that are implied by strong convexity or Lipschitz continuous gradient, but are not necessarily equivalent to them. This means that these conditions are more general than strong convexity or Lipschitz continuous gradient themselves.

研究の動機と目的

• 強凸性とリプシッツ連続勾配との間の Fenchel 双対性を動機づけ、形式化する。
• サブ勾配を介して非平滑関数にも拡張される同値な凸性条件を開発する。
• f とその共役関数 f* の Fenchel 双対性の結果を証明し、厳密なパラメータ関係を確立する。
• 強凸性またはリプシッツ勾配が示唆する補助条件を特定し、それらの一般性を明らかにする。

提案手法

• 勾配をサブ勾配に置換することにより、非平滑にもなり得る古典的な凸性同値性を一般化する（補題1）。
• 一階形式と勾配不等式形式の同値性によって強凸性を特徴づける（補題2）。
• 強凸性に由来する含意と補助条件を導出する（補題3）。
• リプシッツ勾配条件とその含意を関連づける（補題4）。
• 共役関数の結果（補題5および補題6）を開発・活用して、サブ勾配と勾配を結びつける。
• 主たる Fenchel 双対定理を証明する: (i) f の強凸性は f* のリプシッツ勾配を意味し、(ii) f の勾配がリプシッツであれば f* は強凸である。

実験結果

リサーチクエスチョン

• RQ1 f の強凸性と f の勾配のリプシッツ連続性は、共役である f* に対して対応するリプシッツ/強凸性をもたらすか？
• RQ2 一般化された凸性条件（サブ勾配を用いる）で、強凸性とリプシッツ勾配の Fenchel 双対性のよりシンプルな証明を得られるか？
• RQ3 強凸性またはリプシッツ勾配により示唆される補助条件は何か、標準的な定義と同値か？

主な発見

• もし f が閉包で μ-強凸であれば、f* は 1/μ-リプシッツ勾配を持つ。
• f が L-リプシッツ勾配を持つ場合、f* は 1/L-強凸である。
• 非平滑関数にもサブ勾配を介して同値性条件が拡張可能で、直接的な導出を可能にする。
• 強凸性またはリプシッツ勾配により示唆されるいくつかの弱いまたはより一般的な条件を特定するが、すべてが元の性質と同値とは限らない。
• 証明は、共役解析を通じて最適化問題における同値性を確立する実用的な技術を明らかにする。