[論文レビュー] A Novel Augmented Lagrangian Approach for Inequalities and Convergent Any-Time Non-Central Updates

Marc Toussaint|arXiv (Cornell University)|Dec 14, 2014

Advanced Optimization Algorithms Research参考文献 5被引用数 6

ひとこと要約

本稿では、スラック変数を回避し、収束性を保証する任意時刻非中心双対更新を可能にする新たな増幅スキームを備えた、不等式制約付き最適化のための新規な増大ラグランジュ法を提案する。本手法は、制約活動が安定している問題（例えばロボット軌道最適化）において高速な収束を達成し、このような状況下で対数バリア法および標準的な増大ラグランジュ法よりも優れた性能を示す。

ABSTRACT

Motivated by robotic trajectory optimization problems we consider the Augmented Lagrangian approach to constrained optimization. We first propose an alternative augmentation of the Lagrangian to handle the inequality case (not based on slack variables) and a corresponding "central" update of the dual parameters. We proove certain properties of this update: roughly, in the case of LPs and when the "constraint activity" does not change between iterations, the KKT conditions hold after just one iteration. This gives essential insight on when the method is efficient in practise. We then present our main contribution, which are consistent any-time (non-central) updates of the dual parameters (i.e., updating the dual parameters when we are not currently at an extremum of the Lagrangian). Similar to the primal-dual Newton method, this leads to an algorithm that parallely updates the primal and dual solutions, not distinguishing between an outer loop to adapt the dual parameters and an inner loop to minimize the Lagrangian. We again proof certain properties of this anytime update: roughly, in the case of LPs and when constraint activities would not change, the dual solution converges after one iteration. Again, this gives essential insight in the caveats of the method: if constraint activities change the method may destablize. We propose simple smoothing, step-size adaptation and regularization mechanisms to counteract this effect and guarantee monotone convergence. Finally, we evaluate the proposed method on random LPs as well as on standard robot trajectory optimization problems, confirming our motivation and intuition that our approach performs well if the problem structure implies moderate stability of constraint activity.

研究の動機と目的

• 制約活動が不安定な場合に標準的な増大ラグランジュ法の非効率性に対処すること、特に高次元の軌道最適化において。
• スラック変数を避けることで、収束性の分析がより明確になる不等式制約の代替増幅法を開発すること。
• 別々の内側/外側ループを必要とせず、同時にプライマルおよび双対最適化を可能にする一貫性のある任意時刻（非中心）双対更新を導入すること。
• 制約活動の変化に対しても、スムージング、ステップサイズの適応、正則化メカニズムを通じて単調収束を保証すること。
• ランダム線形計画問題および現実世界のロボット軌道最適化問題を用いて、制約安定性の変動に応じた性能を評価する。

提案手法

• 不等式制約のための新たな増幅項 $[\lambda > 0 \vee g > 0] \cdot g^2$ を提案し、従来のスラック変数に基づくアプローチに代わる。
• NocedalとWright（1999年）に類似した「中心的」双対更新ルールを導入し、線形計画問題（LP）において制約活動が安定している場合に1反復でKKT条件を満たすことを証明する。
• ラグランジュ最小値に到達していない場合でも双対パラメータを更新できる「任意時刻」非中心双対更新を設計し、プライマル・双対の同時更新を可能にする。
• 任意時刻更新は、線形計画問題において制約活動が安定している場合に正しい双対解に収束することを証明し、適応的メカニズムによって収束を保証する。
• 制約活動が最適化中に変化する場合の安定性を高めるために、スムージング、ステップサイズの適応、正則化を実装する。
• 線形探索とバックトラッキングを用いて収束制御を行う反復的アルゴリズムに統合し、プライマル最小化と双対更新を交互に実行する。

実験結果

リサーチクエスチョン

• RQ1 線形計画問題において、制約活動が反復間で変化しない場合、提案された中心的双対更新はどの条件下で1反復で正確にKKT条件を満たすか？
• RQ2 制約活動が最適化中に安定している場合、非中心（任意時刻）双対更新は収束性と正しさを維持できるか？
• RQ3 制約活動が不安定な場合（例えばランダム線形計画問題）、実際の性能はどのようになるか？
• RQ4 制約活動の安定性が、提案された増大ラグランジュ法の有効性に果たす役割は何か？
• RQ5 提案手法は、高次元で非線形な軌道最適化問題において、標準的な対数バリア法および増大ラグランジュ法を上回る性能を示せるか？

主な発見

• 制約活動が反復間で変化しない場合、中心的更新を用いた本手法は、線形計画問題（LP）において1反復でKKT条件を満たす。
• 制約活動が安定している場合、任意時刻非中心双対更新は、線形計画問題（LP）において1反復で正しい双対解に収束する。これは、その実用的効率性に関する理論的洞察を提供する。
• ランダムLPでは、中程度の次元数では良好な性能を示すが、最適化の後期段階で制約活動が不安定化すると著しく性能が低下する。
• 5000次元のロボット軌道最適化において、AnyAulaは唯一の最適解に近いサブ最適性（0.05 ± 0.03）を達成し、関数評価回数は48.25 ± 4.93回にとどまり、LogBarrierやSqrPenaltyを上回る性能を示した。
• LogBarrierは妥当な解に到達できず、サブ最適性が72,337 ± 3,325にとどまり、この制約付き設定下での収束性の悪さが示された。
• 本手法の性能は制約活動の安定性に強く依存しており、安定した設定（例：軌道最適化）では優れた結果を示すが、不安定な設定（例：ランダムLP）では性能が低下する。