[論文レビュー] The value function approach to convergence analysis in composite optimization

Edouard Pauwels|arXiv (Cornell University)|Apr 6, 2016

Advanced Optimization Algorithms Research参考文献 23被引用数 20

ひとこと要約

本稿では、tame仮定の下で、値関数アプローチを用いたバックトラッキング変種の合成ガウス＝ニュートン法のグローバル収束解析を提示する。滑らかでないKurdyka-Łojasiewicz（KL）不等式を定義可能関数に適用することで、ややきつい幾何的条件の下で臨界点への収束を確立し、非凸で非滑らか、かつ複雑な幾何構造を有する最適化問題に適用可能な柔軟で検証可能な枠組みを提供する。

ABSTRACT

This works aims at understanding further convergence properties of first order local search methods with complex geometries. We focus on the composite optimization model which unifies within a simple formalism many problems of this type. We provide a general convergence analysis of the composite Gauss-Newton method under tameness assumptions (an extension of semi-algebraicity). Tameness is a very general condition satisfied by virtually all problems solved in practice. The analysis is based on recent progresses in understanding convergence properties of sequential convex programming methods through the value function.

研究の動機と目的

• 複雑な幾何構造を有する非凸合成最適化における一階法に、柔軟でグローバルに適用可能な収束保証が不足している問題に対処する。
• 収束点の近傍における強い局所的成長条件に依存するのを回避する。実用的にはしばしば検証が困難である。
• 逐次凸プログラミングに関する先行研究を拡張し、値関数フレームワークを用いた合成ガウス＝ニュートン法の一般化された収束解析を提供する。
• 局所的リプシッツ連続勾配関数を扱えるように、一般化されたバックトラッキングラインサーチを解析に統合する。
• 可縮性（o-最小的構造における定義可能性）を意味するtame条​​件を満たすことで、KL不等式が成立し、極端な振動などの病理的挙動が排除される。

提案手法

• 問題を $ g(F(x)) $ の最小化として定式化する。ここで $ F: \mathbb{R}^n \to \mathbb{R}^m $ は $ \mathscr{C}^2 $、$ g: \mathbb{R}^m \to \mathbb{R} $ は凸かつ有限値であり、$ D \subset \mathbb{R}^n $ は閉かつ凸である。
• ステップサイズパラメータ $ \mu_k $ を適応的に増大させ、十分な減少条件を満たすまで繰り返すバックトラッキング変種の合成ガウス＝ニュートン法を適用する。
• 値関数 $ V_\mu(x) = \min_{y \in D} g(F(x) + \nabla F(x)(y - x)) + \frac{\mu}{2} \|y - x\|^2 $ を定義する。これは問題の局所的二次近似を要約する。
• 滑らかでないKurdyka-Łojasiewicz（KL）不等式を値関数に適用し、目的関数の減少を制御し、収束を保証する。
• 凹かつ滑らかな関数 $ \varphi $ を用いたリャプノフ型関数 $ \varphi(V_\mu(x_k)) $ を用い、値関数の減少とステップサイズ・部分勾配ノルムの関係を示す降下不等式を導出する。
• 列 $ \{x_k\} $ が極限点の近傍で有界かつコーシー列であることを証明する。これは $ \|x_{k+1} - x_k\| $ のsummabilityに依存し、反復列の収束を導く。

実験結果

リサーチクエスチョン

• RQ1 強い局所的成長条件を要件としないで、合成ガウス＝ニュートン法にグローバル収束保証を確立できるか？
• RQ2 値関数フレームワークを、合成非凸最適化におけるバックトラッキングラインサーチにどのように拡張できるか？
• RQ3 tame仮定（o-最小的構造における定義可能性）が、収束解析におけるKL不等式の有効性をどの程度保証するか？
• RQ4 局所的リプシッツ連続勾配関数を含めるだけの柔軟な収束解析は可能か？
• RQ5 バックトラッキングガウス＝ニュートン法の反復列が、合成問題の臨界点に収束するための条件は何か？

主な発見

• 提案されたバックトラッキング合成ガウス＝ニュートン法は、tame仮定の下で、合成最適化問題の臨界点にグローバルに収束する。
• 収束は値関数アプローチにより確立され、強い局所的正則性条件を要件としない非凸・非滑らか・複雑構造問題を扱える。
• 解析は、定義可能関数に成立する滑らかでないKurdyka-Łojasiewicz（KL）不等式に依存し、各反復で目的関数値が十分に減少することを保証する。
• 列 $ \{x_k\} $ が極限点の近傍でコーシー列であることが示され、これは反復列が近位写像の不動点に収束することを意味する。
• ステップサイズパラメータ $ \mu_k $ は十分大きな $ k $ に対して有界であり、系列 $ \sum \|x_{k+1} - x_k\| $ は収束する。これは反復列の収束を示すために不可欠である。
• 本手法は局所的リプシッツ連続勾配関数に対して頑健であり、強い凸性や鋭さの仮定を必要とせず、幅広い実用的問題に適用可能である。