[論文レビュー] Iteration-complexity of an inner accelerated inexact proximal augmented Lagrangian method based on the classical Lagrangian function and a full Lagrange multiplier update

Jefferson G. Melo, Renato D. C. Monteiro+1 more|arXiv (Cornell University)|Aug 2, 2020

Sparse and Compressive Sensing Techniques参考文献 53被引用数 7

ひとこと要約

本稿では、滑らかで非凸な合成最適化問題に線形制約を課した問題を解くために、古典的な増大ラグランジュ関数を用いた、内部で加速された不正確な近接ラグランジュ（IAIPAL）法を提案する。この手法は、初期点が実行可能でなくてもよいという制約なしに、許容誤差 $\rho > 0$ における近似停留解を達成するための反復複雑度 $\mathcal{O}(\rho^{-3})$（対数項を除く）を達成する。

ABSTRACT

This paper establishes the iteration-complexity of an inner accelerated inexact proximal augmented Lagrangian (IAIPAL) method for solving linearly-constrained smooth nonconvex composite optimization problems that is based on the classical augmented Lagrangian (AL) function. More specifically, each IAIPAL iteration consists of inexactly solving a proximal AL subproblem by an accelerated composite gradient (ACG) method followed by a classical Lagrange multiplier update. Under the assumption that the domain of the composite function is bounded and the problem has a Slater point, it is shown that IAIPAL generates an approximate stationary solution in ${\cal O}( ho^{-3})$ ACG iterations (up to a logarithmic term) where $ ho>0$ is the tolerance for both stationarity and feasibility. Moreover, the above bound is derived without assuming that the initial point is feasible. Finally, numerical results are presented to demonstrate the strong practical performance of IAIPAL.

研究の動機と目的

• 線形制約を伴う滑らかで非凸な合成最適化問題を効率的に解くためのアルゴリズムの開発。
• やや弱い仮定の下で、不正確な近接ラグランジュ増大法の反復複雑度の上限を確立すること。
• 初期点が実行可能でなければならないという要件を排除し、実用的適用性を高めること。
• 増大ラグランジュフレームワーク内での加速合成勾配法の収束挙動の分析。
• 数値実験を通じて、強力な実用的性能を示すこと。

提案手法

• 本手法は、非凸最適化問題を解く基盤として、古典的な増大ラグランジュ関数を用いる。
• 各反復では、加速合成勾配（ACG）法を用いて、近似的に近接ラグランジュ部分問題を解く。
• 部分問題の解法後に、古典的AL理論と整合性を持つ完全なラグランジュ乗数更新を実行する。
• ACG法は、許容誤差パラメータ $\rho > 0$ によって不正確さを制御し、精度と効率のバランスをとる。
• 初期反復が実行可能でなくてもよいという特徴を持ち、耐障害性を向上させる。
• 近接正則化により、部分問題の適切な定式化と有界領域仮定の下での収束性を保証する。

実験結果

リサーチクエスチョン

• RQ1 滑らかで非凸な問題に対して、加速勾配ステップを伴う不正確な近接ラグランジュ増大法の反復複雑度は何か？
• RQ2 初期点が実行可能でなくても、この手法は収束することができるか？
• RQ3 停留性と実行可能性の許容誤差 $\rho$ に対して、複雑度はどのようにスケーリングされるか？
• RQ4 完全なラグランジュ乗数更新は、この手法の収束挙動にどのような役割を果たすか？
• RQ5 既存の手法と比較して、実際の性能はどのように評価されるか？

主な発見

• IAIPAL法は、許容誤差 $\rho > 0$ における近似停留解を達成するための反復複雑度として $\mathcal{O}(\rho^{-3})$ のACG反復を達成する（対数因子を除く）。
• 初期点が実行可能でない場合でも、複雑度の上限が成り立つため、実用的耐障害性が向上する。
• 解析では、合成関数の有界領域とスレイター点の存在を仮定しており、強い双対性条件を保証する。
• 本手法は古典的な増大ラグランジュ関数を用い、各反復で完全なラグランジュ乗数更新を実行する。
• 数値結果は、強力な実用的性能を示しており、実世界の応用における効率性を示している。
• 部分問題の正確解を仮定しないで導出された上限であるため、不正確で実用的な実装に適している。