[論文レビュー] Iterative Linearized Control: Stable Algorithms and Complexity Guarantees

Vincent Roulet, Siddhartha S Srinivasa+2 more|arXiv (Cornell University)|Aug 20, 2019

Advanced Control Systems Optimization被引用数 6

ひとこと要約

本論文は、反復線形化を用いた非線形制御のための正則化付きガウス・ニュートン法を提案し、現代の1次最適化複雑性理論の枠組みで提示する。PyTorchを用いた自動微分を活用することで、最悪ケースの収束保証が得られるとともに、実際の収束が安定的かつ高速化され、再現可能性を確保するための公開コードを提供する。

ABSTRACT

We examine popular gradient-based algorithms for nonlinear control in the light of the modern complexity analysis of first-order optimization algorithms. The examination reveals that the complexity bounds can be clearly stated in terms of calls to a computational oracle related to dynamic programming and implementable by gradient back-propagation using machine learning software libraries such as PyTorch or TensorFlow. Finally, we propose a regularized Gauss-Newton algorithm enjoying worst-case complexity bounds and improved convergence behavior in practice. The software library based on PyTorch is publicly available.

研究の動機と目的

• ILQR や DDP といった一般的な非線形制御アルゴリズムを、現代の1次最適化複雑性解析の枠組みに再定式化すること。
• 反復線形化手法のための主要な複雑性測度として、自動微分オракルへの呼び出し回数（PyTorch や TensorFlow で実装可能）が適切であることを確立すること。
• プロキシマル正則化とカタロイド補外を導入することで、ILQR の収束安定性と速度を向上させること。
• 反復線形化とガウス・ニュートン型ステップに基づく非線形制御アルゴリズムの最悪ケース複雑性バウンドを確立すること。
• 振り子と二重リンクアームの制御タスクにおける実験的評価を通じて、実用的収束改善を示すこと。

提案手法

• 有限時系列の非線形制御問題を複合最適化問題に再定式化し、1次最適化手法の適用を可能にする。
• PyTorch を介した自動微分を用いて、線形化された部分問題に関連する双対問題を解くことで、ガウス・ニュートンステップを計算する。
• 非凸設定下でも収束を保証するため、ガウス・ニュートンステップの安定化のためのプロキシマル正則化を導入する。
• 収束の加速を図りながらも最悪ケース複雑性保証を維持するため、カタロイド補外スキームを適用する。
• PyTorch の微分可能なプログラミング機能を活用してアルゴリズムを実装し、制御軌道全体にわたるエンドツーエンドのバックプロパゲーションを可能にする。
• 5イテレーションのバーンインフェーズ後は定常ステップサイズを採用し、ベースラインの ILQR との公平な比較のため、ラインサーチを適用する。

実験結果

リサーチクエスチョン

• RQ1 非線形制御の反復線形化手法は、現代の1次最適化複雑性理論を用いて分析可能か？
• RQ2 PyTorch や TensorFlow のような現代の機械学習フレームワークにおいて、反復線形化アルゴリズムの関連する複雑性測度は何か？
• RQ3 プロキシマル正則化と補外は、ILQR 型アルゴリズムの収束行動と安定性をどのように改善できるか？
• RQ4 非線形制御のための正則化付きガウス・ニュートン法は、最悪ケース複雑性バウンドと実用的収束向上の両方を達成可能か？
• RQ5 自動微分は、非線形制御の部分問題を解くために伝統的な動的計画法に置き換え可能か、その程度はどの程度か？

主な発見

• 提案された加速化された正則化付きガウス・ニュートン法は、逆パンドラムおよび二重リンクアーム制御問題の両方で安定的かつ高速な収束を達成した。
• 標準的な ILQR が Armijo のラインサーチに依存し、振動的挙動を示すのに対し、正則化付き ILQR は収束安定性が向上した。
• 自動微分オラクルへの呼び出し回数が、現代のディープラーニングの実践と整合する主要な複雑性測度であると特定された。
• 補外と正則化を通じて実用的性能向上を達成しつつ、最悪ケース複雑性保証も維持した。
• 実験的結果から、加速化された正則化付き ILQR は、標準 ILQR や正則化付き ILQR に比べ、収束速度および目的関数値の低減の両面で優れた性能を示した。
• ソフトウェア実装は GitHub で公開されており、再現性が保証され、強化学習への応用拡張も可能である。