[論文レビュー] Iteration-complexity of an inexact proximal accelerated augmented Lagrangian method for solving linearly constrained smooth nonconvex composite optimization problems

Jefferson G. Melo, Renato D. C. Monteiro+1 more|arXiv (Cornell University)|Jun 14, 2020

Sparse and Compressive Sensing Techniques参考文献 34被引用数 12

ひとこと要約

本稿では、線形制約を伴う滑らかで非凸な合成最適化問題を解くために、不正確なプロキシマル加速アンサンブルラグランジュ（IPAAL）法を提案する。この手法は、部分問題の解法に加速合成勾配（ACG）法を組み合わせ、適応的罰則パラメータの更新を実施し、一般の場合では$ olimits\mathcal{O}(\log(1/\rho)/\rho^3)$、より強い仮定の下では$ olimits\mathcal{O}(\log(1/\rho)/\rho^{2.5})$の反復複雑度を達成する。境界領域や初期の実行可能性を仮定しない。

ABSTRACT

This paper proposes and establishes the iteration-complexity of an inexact proximal accelerated augmented Lagrangian (IPAAL) method for solving linearly constrained smooth nonconvex composite optimization problems. Each IPAAL iteration consists of inexactly solving a proximal augmented Lagrangian subproblem by an accelerated composite gradient (ACG) method followed by a suitable Lagrange multiplier update. It is shown that IPAAL generates an approximate stationary solution in at most ${\cal O}(\log(1/ρ)/ρ^{3})$ ACG iterations, where $ρ>0$ is the given tolerance. It is also shown that the previous complexity bound can be sharpened to ${\cal O}(\log(1/ρ)/ρ^{2.5})$ under additional mildly stronger assumptions. The above bounds are derived assuming that the initial point is neither feasible nor the domain of the composite term of the objective function is bounded. Some preliminary numerical results are presented to illustrate the performance of the IPAAL method.

研究の動機と目的

• 線形制約を伴う滑らかで非凸な合成最適化問題に対して、不正確なプロキシマル加速アンサンブルラグランジュ法を開発すること。
• 初期点が実行可能でないか、定義域が有界である必要がないという最小限の仮定の下で、この手法の反復複雑度の上限を確立すること。
• 加速された一次順序手法と動的罰則パラメータの更新を活用することで、収束保証を強化すること。
• 例えば、実行可能集合の内部が空でないこと、および罰則関数のレベル集合が有界であるといったやや強い仮定の下で、鋭い複雑度上限を提供すること。

提案手法

• 標準的なアンサンブルラグランジュ関数と二次罰則関数の両方を一般化する$\theta$-アンサンブルラグランジュ関数を用いる。
• 各反復で、$\tau \in (0,1)$のためのステップサイズ$\lambda = \tau/m$を用いて、加速合成勾配（ACG）法により近似的にプロキシマル部分問題を解く。
• ラグランジュ乗数は$p_k = (1 - \theta)p_{k-1} + c(Az_k - b)$により更新され、双対ステップサイズの一貫性を保証する。
• 不実行性が許容誤差を超えると、罰則パラメータ$c$を倍増させる動的罰則パラメータ戦略を採用し、近似的に実行可能な解への収束を保証する。
• 反復を精錬することで、停留在性および実行可能性条件を満たす三重組$(\hat{z}, \hat{v}, \hat{p})$を生成する。
• 誤差境界と$\varepsilon$-部分微分可能性、強い凸性の性質を用いた洗練された解析により、複雑度上限を確立する。

実験結果

リサーチクエスチョン

• RQ1 線形制約を伴う非凸合成問題に対して、不正確なプロキシマル加速アンサンブルラグランジュ法の反復複雑度は何か？
• RQ2 実行可能集合の内部が空でない、および罰則関数のレベル集合が有界であるといったやや強い仮定の下で、複雑度上限を改善できるか？
• RQ3 動的罰則パラメータ更新戦略は、全体の収束速度および複雑度にどのように影響するか？
• RQ4 定義域が有界でない、または初期点が実行可能でないという仮定なしに、この手法が収束を達成できるか？
• RQ5 $\theta$-アンサンブルラグランジュ関数は、双対的および原実行的進捗のバランスをどのように果たすか？

主な発見

• IPAAL法は、$\rho$-近似停留所解を求めるために、$\mathcal{O}(\log(1/\rho)/\rho^3)$回のACG反復を達成する。
• よりやや強い仮定の下では、複雑度は$\mathcal{O}(\log(1/\rho)/\rho^{2.5})$に改善され、より良い収束行動を反映する。
• この手法は、$c$が大きいとき、$\|A\hat{z}_k - b\| = \mathcal{O}(1/\sqrt{c})$を満たす精錬反復$\hat{z}_k$が近似的に実行可能であることを保証する。
• 動的罰則パラメータ戦略により、許容誤差$\hat{\rho}, \hat{\eta}$に対して、総ACG反復回数は$\mathcal{O}((1/\hat{\eta}\hat{\rho}^2)\log(1/\hat{\eta}))$に保証される。
• 初期点が実行可能でないか、合成項の定義域が有界であるという仮定なしに、解析が成り立つ。
• $\varepsilon$-部分微分と誤差境界技術を用いることで、強い凸性や有界定義域が欠如する場合でも、この手法は頑健で効果的である。