[論文レビュー] Convergence rate analysis of a sequential convex programming method with line search for a class of constrained difference-of-convex optimization problems

Peiran Yu, Ting Kei Pong+1 more|arXiv (Cornell University)|Jan 20, 2020

Optimization and Variational Analysis参考文献 55被引用数 4

ひとこと要約

本稿は、制約付き差分凸（DC）最適化問題に対する線分探索を伴う逐次凸プログラミング法（SCP ls）の収束速度を分析する。非凸設定における潜在関数のKurdyka-Łojasiewicz（KL）条件と、凸設定における拡張目的関数のKL条件を活用することで、緩い仮定のもとで線形収束を確立し、σ₁₋₂最小化問題におけるσ₂またはローレンツィアン損失下の応用を含む。

ABSTRACT

In this paper, we study the sequential convex programming method with monotone line search (SCP$_{ls}$) in [46] for a class of difference-of-convex (DC) optimization problems with multiple smooth inequality constraints. The SCP$_{ls}$ is a representative variant of moving-ball-approximation-type algorithms [6,10,13,54] for constrained optimization problems. We analyze the convergence rate of the sequence generated by SCP$_{ls}$ in both nonconvex and convex settings by imposing suitable Kurdyka-Lojasiewicz (KL) assumptions. Specifically, in the nonconvex settings, we assume that a special potential function related to the objective and the constraints is a KL function, while in the convex settings we impose KL assumptions directly on the extended objective function (i.e., sum of the objective and the indicator function of the constraint set). A relationship between these two different KL assumptions is established in the convex settings under additional differentiability assumptions. We also discuss how to deduce the KL exponent of the extended objective function from its Lagrangian in the convex settings, under additional assumptions on the constraint functions. Thanks to this result, the extended objectives of some constrained optimization models such as minimizing $\ell_1$ subject to logistic/Poisson loss are found to be KL functions with exponent $\frac12$ under mild assumptions. To illustrate how our results can be applied, we consider SCP$_{ls}$ for minimizing $\ell_{1-2}$ [60] subject to residual error measured by $\ell_2$ norm/Lorentzian norm [21]. We first discuss how the various conditions required in our analysis can be verified, and then perform numerical experiments to illustrate the convergence behaviors of SCP$_{ls}$.

研究の動機と目的

• 制約付きDC最適化問題にSCP lsアルゴリズムを適用する際の収束速度保証を確立すること。
• Kurdyka-Łojasiewicz（KL）仮定の下での収束挙動を、非凸と凸の設定で区別して分析すること。
• 凸設定において、拡張目的関数のKL指数とラグランジュ関数のKL指数との関係を特定し、特定のモデルにおける収束速度解析を可能にすること。
• 理論的条件の適用可能性を数値実験により検証し、σ₁₋₂最小化問題における収束挙動を示すこと。
• 非凸正則化子と非滑らか制約を伴うスパースリカバリ問題を解くための実用的なアルゴリズムフレームワーク（線分探索を含む）を提供すること。

提案手法

• 元のDC問題を近似する凸部分問題を繰り返し解くことで、逐次凸プログラミング法にモノトニック線分探索を組み合わせたSCP lsを提案する。
• 滑らか関数fおよびg_iの2次テイラー展開を用いて、制約の動き球近似を構築し、凸部分問題を形成する。
• 非凸設定では、目的関数および制約と関連する特別な潜在関数をKL関数として導入し、凸設定では拡張目的関数のKL性質を直接仮定する。
• 追加の微分可能性および制約に関する仮定のもとで、拡張目的関数のKL指数とラグランジュ関数のKL指数との関係を確立する。
• 数値実験における部分問題を効率的に解くために、双対問題における根の探索戦略を用いる。特にσ₁-ノルム正則化問題に有効である。
• σ₂またはローレンツィアン損失を伴うσ₁₋₂最小化問題に本手法を適用し、条件の満たされ具合を検証し、数値的に線形収束を示す。

実験結果

リサーチクエスチョン

• RQ1 制約付きDC最適化問題に対して、SCP lsアルゴリズムが線形収束する条件は何か？
• RQ2 凸設定において、潜在関数と拡張目的関数のKurdyka-Łojasiewicz（KL）仮定はどのように関係するか？
• RQ3 制約関数に関する追加仮定のもとで、拡張目的関数のKL指数はラグランジュ関数のものから導けるか？
• RQ4 σ₂またはローレンツィアン損失制約を伴うσ₁₋₂最小化にSCP lsを適用した際の収束挙動はいかなるものか？
• RQ5 特にσ₁-ノルム正則化が含まれる場合に、SCP lsの部分問題を実用的に効率的に解く方法は何か？

主な発見

• ロジスティック損失またはポisson損失を伴うσ₁最小化問題において、やや緩い仮定のもとで、拡張目的関数がKL関数であり、その指数が1/2であることが示された。
• 凸設定において、追加の微分可能性および制約に関する仮定のもとで、拡張目的関数のKL指数はラグランジュ関数のそれから導出可能である。
• σ₂またはローレンツィアン損失を伴うσ₁₋₂最小化問題に対して、SCP lsアルゴリズムは数値実験で線形収束を示した。
• 数値結果から、線分探索を含まない標準的なSCPと比較して、SCP lsはより速く収束し、線形収束の挙動を示すことが明らかになった。
• σ₁-ノルム正則化と二次制約を伴うSCP lsの部分問題は、双対根の探索手続きにより効率的に解ける。
• KL仮定のもとで理論的収束保証が確立され、非凸設定では潜在関数、凸設定では拡張目的関数が主な解析ツールとして機能した。