[論文レビュー] Rate-improved Inexact Augmented Lagrangian Method for Constrained Nonconvex Optimization

Zichong Li, Pin‐Yu Chen+3 more|arXiv (Cornell University)|Jul 2, 2020

Sparse and Compressive Sensing Techniques参考文献 31被引用数 11

ひとこと要約

本稿では、非凸最適化における制約付き問題に対して、より効率的に部分問題を解くために不正確な近接点法（iPPM）を活用する改善された不正確な増大ラグランジュ法（iALM）を提案する。この手法は、線形等式制約の場合に $ frac{1}{2}$ で、非凸制約の場合に $ frac{3}{2}$ で、最新の理論的複雑度境界を達成し、理論的にはペナルティ法と同等であるが、実用的性能ではそれを上回る。

ABSTRACT

First-order methods have been studied for nonlinear constrained optimization within the framework of the augmented Lagrangian method (ALM) or penalty method. We propose an improved inexact ALM (iALM) and conduct a unified analysis for nonconvex problems with either affine equality or nonconvex constraints. Under certain regularity conditions (that are also assumed by existing works), we show an $ ilde{O}(\varepsilon^{-\frac{5}{2}})$ complexity result for a problem with a nonconvex objective and affine equality constraints and an $ ilde{O}(\varepsilon^{-3})$ complexity result for a problem with a nonconvex objective and nonconvex constraints, where the complexity is measured by the number of first-order oracles to yield an $\varepsilon$-KKT solution. Both results are the best known. The same-order complexity results have been achieved by penalty methods. However, two different analysis techniques are used to obtain the results, and more importantly, the penalty methods generally perform significantly worse than iALM in practice. Our improved iALM and analysis close the gap between theory and practice. Numerical experiments on nonconvex problems with affine equality or nonconvex constraints are provided to demonstrate the effectiveness of our proposed method.

研究の動機と目的

• 非凸制約最適化における一階法の理論的複雑度境界と実用的性能のギャップを埋めること。
• 非凸設定における増大ラグランジュフレームワークのより安定的かつ効率的な部分問題ソルバーを開発すること。
• 線形等式制約または一般の非凸制約を伴う非凸問題に対して、最適な反復複雑度を達成すること。
• 非凸問題における標準的正則性条件の下で、不正確な増大ラグランジュ法の分析を統一すること。
• 既存のiALMおよびペナルティ法と比較して、優れた経験的性能を示すこと。

提案手法

• 従来のiALMで用いられる不安定な加速に基づく手法に代わり、増大ラグランジュの部分問題を解くための新規な不正確な近接点法（iPPM）を提案する。
• iPPMを増大ラグランジュフレームワークに統合し、各反復でAL関数を効率的かつ安定的に最小化可能にする。
• iPPMによって生成される摂動付き強凸部分問題を解くために、ネステロフの加速的一階法を用いる。
• 標準的正則性条件の下で統一的な収束解析を適用し、線形等式制約および非凸制約の両方に対して反復複雑度境界を導出する。
• 罰則パラメータを適応的に調整するためのラインサーチ戦略を適用し、グローバル収束を保証する。
• 双対更新中の増大ラグランジュ関数の十分な減少を維持するため、バックトラッキングスキームを実装する。

実験結果

リサーチクエスチョン

• RQ1 線形等式制約を伴う非凸問題に対して、最適な反復複雑度を達成する不正確なALMを設計できるか？
• RQ2 非凸制約にまで複雑度解析を拡張しつつ、最適な収束速度を維持できるか？
• RQ3 ペナルティ法は最適な複雑度を達成するが、なぜ実用的性能ではiALMに劣るのか？
• RQ4 より安定した部分問題ソルバーは、理論的保証を損なわずにiALMの実用的性能を向上させられるか？
• RQ5 ネステロフの加速を非凸最小化に組み合わせると、収束安定性にどのような影響を与えるか？

主な発見

• 提案されたiALMは、線形等式制約を伴う非凸問題に対して、$ frac{1}{2}$ の複雑度を達成し、既存の最良理論的境界と一致する。
• 非凸制約の場合、$ frac{3}{2}$ の複雑度を達成し、これは既存で最も良い結果であり、理論的にはペナルティ法と同等である。
• 数値実験の結果、提案手法はSahinら（2019）のiALMを著しく上回り、ベンチマーク問題において反復回数と実行時間を最大5～10倍まで削減した。
• ステータニティ違反の軌跡から、iPPMに基づく部分問題ソルバーはSahinら（2019）の加速ベース手法よりも高速かつ安定して収束することが示された。
• 一般化固有値問題（n=1000）において、提案手法は平均で3.52e-4の妥協残差と9.03e-4の双対ギャップを30,376反復で達成したのに対し、ベースラインiALMは139,823反復を要した。
• 大規模なLCQP問題（n=1000, m=100）において、提案手法は280,500回の勾配評価で解に到達したが、iPPP法は1,644,496回の評価を要した。