[論文レビュー] Complexity of Proximal augmented Lagrangian for nonconvex optimization with nonlinear equality constraints

Yue Xie, Stephen J. Wright|arXiv (Cornell University)|Jul 31, 2019

Sparse and Compressive Sensing Techniques参考文献 35被引用数 5

ひとこと要約

この論文は、非凸最適化における非線形等式制約を伴うProximal Augmented Lagrangian（Proximal AL）法の最悪ケース複雑度を分析する。Proximalパラメータ $\beta = \mathcal{O}(\epsilon^{\eta})$ およびペナルティパラメータ $\rho = \Omega(1/\epsilon^{\eta})$ の下で、$\eta \in [0,2]$（1次）および $\eta \in [1,2]$（2次）の場合、$\epsilon$-1次（または $\epsilon$-2次）最適解が $\mathcal{O}(1/\epsilon^{2-\eta})$ 外部反復で達成されることを確立する。ニュートン-CG法を用いた部分問題の解法を想定する。

ABSTRACT

We analyze worst-case complexity of a Proximal augmented Lagrangian (Proximal AL) framework for nonconvex optimization with nonlinear equality constraints. When an approximate first-order (second-order) optimal point is obtained in the subproblem, an $ε$ first-order (second-order) optimal point for the original problem can be guaranteed within $\mathcal{O}(1/ ε^{2 - η})$ outer iterations (where $η$ is a user-defined parameter with $η\in[0,2]$ for the first-order result and $η\in [1,2]$ for the second-order result) when the proximal term coefficient $β$ and penalty parameter $ρ$ satisfy $β= \mathcal{O}(ε^η)$ and $ρ= Ω(1/ε^η)$, respectively. We also investigate the total iteration complexity and operation complexity when a Newton-conjugate-gradient algorithm is used to solve the subproblems. Finally, we discuss an adaptive scheme for determining a value of the parameter $ρ$ that satisfies the requirements of the analysis.

研究の動機と目的

• 非凸最適化における非線形等式制約を伴うProximal Augmented Lagrangianフレームワークの最悪ケース反復複雑度を分析すること。
• $\epsilon$-1次および $\epsilon$-2次最適性条件を達成する収束速度を確立すること。
• 部分問題をニュートン-CG法で解く際の総反復および計算複雑度を調査すること。
• $\epsilon$ を事前に知らなくてもよい適応的 $\rho$ の更新戦略を開発し、複雑度境界を保つこと。

提案手法

• Proximal ALフレームワークは、二次ペナルティ項を含むProximal増大ラグランジュ部分問題を繰り返し最小化することで、元の非凸問題を解く。
• この手法は、部分問題の解法によるプライマル変数 $x$ の更新と、射影付き勾配上昇による双対変数 $\lambda$ の更新を交互に繰り返す。
• 部分問題はニュートン-CG法で解き、精度要件および問題パラメータに応じて反復回数を調整する。
• 部分問題の目的関数の十分な減少を保証するため、バックトラッキングラインサーチ戦略を用い、メリット関数を用いて収束を監視する。
• 適応的スキームにより、$\rho$ を動的に増加させ、部分問題の精度閾値 $\epsilon$ を外反復に応じて調整し、$\rho = \Omega(1/\epsilon^{\eta})$ および $\beta = \mathcal{O}(\epsilon^{\eta})$ を満たす。
• 勾配とヘッセ行列のリプシッツ連続性、制約関数の有界性、増大ラグランジュのヘッセ行列の正定値性といった仮定に基づき、理論的境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 部分問題を近似的に解く場合、Proximal AL法の最悪ケース外部反復複雑度は何か？
• RQ2 Proximalパラメータ $\beta$ およびペナルティパラメータ $\rho$ の選択が、$\epsilon$-1次または $\epsilon$-2次最適性への収束に与える影響は何か？
• RQ3 $\rho$ を適応的に更新するスキームは、$\rho$ が事前に分かっている場合と同等の複雑度境界を維持できるか？
• RQ4 ニュートン-CG法で部分問題を解く際の総反復複雑度は何か？また、$\epsilon$ にどのように依存するか？
• RQ5 $\epsilon$-最適性に到達するために必要なヘッセ・ベクトル積の計算回数（作業複雑度）は何か？

主な発見

• $\eta \in [0,2]$ の場合、$\beta = \mathcal{O}(\epsilon^{\eta})$ および $\rho = \Omega(1/\epsilon^{\eta})$ であれば、$\epsilon$-1次最適解が $\mathcal{O}(1/\epsilon^{2-\eta})$ 外部反復で達成される。
• $\eta \in [1,2]$ の場合、$\beta = \mathcal{O}(\epsilon^{\eta})$ および $\rho = \Omega(1/\epsilon^{\eta})$ であれば、$\epsilon$-2次最適解が $\mathcal{O}(1/\epsilon^{2-\eta})$ 外部反復で達成される。
• 部分問題を解くために必要なニュートン-CG反復総数は $\tilde{\mathcal{O}}(\epsilon^{\eta-2})$ であり、$\rho$ を適応的に更新しても、$\rho$ が事前に分かっている場合と比較して対数的要因の増加にとどまる。
• 適応的 $\rho$ の更新スキームにより、$\rho$ が事前に分かっている場合と比較して、外部反復回数は対数的要因のみ増加する。
• 作業複雑度はヘッセ・ベクトル積の回数に上限が設けられ、同じパラメータ条件の下で $\tilde{\mathcal{O}}(\epsilon^{\eta-2})$ にスケーリングされる。
• パラメータ $\rho$ が反復に応じて動的に更新されても、$\epsilon^{\eta}$ に対して必要な割合で増加する限り、複雑度境界は維持される。