[論文レビュー] Constrained Differential Dynamic Programming Revisited

Yuichiro Aoyama, George I. Boutselis+2 more|arXiv (Cornell University)|May 3, 2020

Reinforcement Learning in Robotics参考文献 18被引用数 10

ひとこと要約

本稿では、スラック変数と増大ラグランジュ法を統合することで、軌道最適化における収束性と実行可能性を向上させる、新しい制約付き微分動的計画法（DDP）フレームワークを提案する。S-KKTおよびAL由来のアルゴリズムを導入し、2次微分可能性を保持することで、ロボット制御のシナリオにおける状態制約および制御制約を扱う際、速度、ロバスト性、制約処理の面で先行手法を上回る性能を発揮する。

ABSTRACT

Differential Dynamic Programming (DDP) has become a well established method for unconstrained trajectory optimization. Despite its several applications in robotics and controls however, a widely successful constrained version of the algorithm has yet to be developed. This paper builds upon penalty methods and active-set approaches, towards designing a Dynamic Programming-based methodology for constrained optimal control. Regarding the former, our derivation employs a constrained version of Bellman's principle of optimality, by introducing a set of auxiliary slack variables in the backward pass. In parallel, we show how Augmented Lagrangian methods can be naturally incorporated within DDP, by utilizing a particular set of penalty-Lagrangian functions that preserve second-order differentiability. We demonstrate experimentally that our extensions (individually and combinations thereof) enhance significantly the convergence properties of the algorithm, and outperform previous approaches on a large number of simulated scenarios.

研究の動機と目的

• ロボティクスおよび制御分野における、数値的に安定で広く適用可能な制約付きDDPアルゴリズムの不足を解消すること。
• 既存のペナルティ法およびアクティブセット法が、軌道最適化における状態制約および制御制約を扱う際の限界を克服すること。
• 2次微分可能性を維持し、収束が速く実行可能解が保証されるDDPベースの手法を開発すること。
• 多様なロボットシステムにおいて、SQPおよび先行するDDP変種と比較して、提案手法の実験的妥当性を検証すること。
• スラック変数法と増大ラグランジュ法を組み合わせることで、数値的性能を向上させること。

提案手法

• ベルマンの最適性の原則にスラック変数の定式化を組み込み、アクティブ制約に関する仮定を回避することで、KKTに基づくDDP手法（S-KKT）を可能にする。
• ペナルティ・ラグランジュ関数を用いた増大ラグランジュ法に類似した手法を提案し、2次微分可能性を保持することで、DDP収束に不可欠な性質を確保する。
• バックワードパスにおいて補助的スラック変数を用いたベルマンの原則の制約付きバージョンを導出することで、制約下でも滑らかに最適化を実行可能にする。
• S-KKTとAL手法を組み合わせ、両者の長所を活かす：S-KKTは実行可能性とロバスト性を確保し、ALは初期段階での高速収束を可能にする。
• ヘッセ行列の推定にガウス・ニュートン近似を、動的システムの一次近似に用いることで、計算効率を維持する。
• 連続的な1階微分を保証し、正確なKKT解への漸近的収束を実現する、修正されたペナルティ関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 一般の状態制約および制御制約を扱えるDDPベースの手法を開発できるか、かつ2次収束を維持できるか？
• RQ2 ベルマン方程式にスラック変数を用いることで、アクティブセット法やプロジェクションベース手法と比較して、収束性および実行可能性がどのように向上するか？
• RQ3 増大ラグランジュ法をDDPに統合可能か？また、滑らかさを保持し、高速収束を実現できるか？
• RQ4 提案手法であるS-KKTおよびAL手法は、SQPおよび先行する制約付きDDP手法と比較して、性能およびロバスト性で優れているか？
• RQ5 S-KKTとALの組み合わせにより、個々の欠点を相殺することで、優れた数値的性能が得られるか？

主な発見

• 2次元カー系（H=200、時間予算あり）において、AL-S-KKT法はコスト2.44、時間2.36秒を達成し、他のすべての手法を上回った。
• クアッドロコプター系では、AL-S-KKT法がH=200でコスト7.48、時間5.91秒を達成し、SQP（コスト2.43×10³、時間6秒）およびAL（H=300で実行不可能）を著しく上回った。
• S-KKT法は、すべてのテストケースで実行可能（gおよびfの不実行性0.0％）を維持したが、SQPおよびALは収束に失敗したり制約を違反したりした。
• S-KKT法は初期軌道条件に対して優れたロバスト性を示し、非最適点からの開始時でも実行可能で低コストを維持した。
• AL法は初期段階では高速だったが、制約付近で速度が低下し、場合によっては制約を違反した。一方、S-KKT法は1反復あたりの時間がやや遅いが、実行可能性が保証された。
• S-KKTとALの組み合わせ（AL-S-KKT）は、特に時間制約下で最良の全体的パフォーマンスを発揮し、速度と実行可能性のバランスを最適化した。