[論文レビュー] A Direct-Indirect Hybridization Approach to Control-Limited DDP.

Carlos Mastalli, Wolfgang Merkt+4 more|arXiv (Cornell University)|Oct 1, 2020

Prosthetics and Rehabilitation Robotics参考文献 43被引用数 13

ひとこと要約

本稿では、制御制限付き微分動的プログラミング（DDP）の直接的・間接的ハイブリダイゼーションであるBox-FDDPを提案する。制約の妥当性確保と制御限界の処理を前向きおよび後向きの両パスに統合することで、数値的収束性と計算効率が向上する。本手法は、長時間スケールでかつ制約がきつい最適制御問題において、Box-DDP や 圧縮関数アプローチを上回る優れた性能を発揮する。

ABSTRACT

Optimal control is a widely used tool for synthesizing motions and controls for user-defined tasks under physical constraints. A common approach is to formulate it using direct multiple-shooting and then to use off-the-shelf nonlinear programming solvers that can easily handle arbitrary constraints on the controls and states. However, these methods are not fast enough for many robotics applications such as real-time humanoid motor control. Exploiting the sparse structure of optimal control problem, such as in Differential DynamicProgramming (DDP), has proven to significantly boost the computational efficiency, and recent works have been focused on handling arbitrary constraints. Despite that, DDP has been associated with poor numerical convergence, particularly when considering long time horizons. One of the main reasons is due to system instabilities and poor warm-starting (only controls). This paper presents control-limited Feasibility-driven DDP (Box-FDDP), a solver that incorporates a direct-indirect hybridization of the control-limited DDP algorithm. Concretely, the forward and backward passes handle feasibility and control limits. We showcase the impact and importance of our method on a set of challenging optimal control problems against the Box-DDP and squashing-function approach.

研究の動機と目的

• 長時間スケールの最適制御問題において、制御制限が存在する場合のDDPの数値的収束性の悪さを是正すること。
• リアルタイムロボティクス応用において、標準的なDDPおよび直接的複数区間法の限界を克服すること。
• 直接的および間接的最適制御戦略を統合することで、ウォームスタートおよび妥当性確保の改善を図ること。
• 複雑な制御制約および状態制約下でも、制約の満たされ方と計算効率を維持する強固なソルバの開発

提案手法

• 直接的複数区間法と間接的DDPをハイブリダイズし、前向きおよび後向きの両パスに妥当性確保を統合する。
• 制御限界は、反復処理中に妥当性を維持できるように、ボックス制約付き定式化を用いて後向きパスで明示的に処理する。
• 前向きパスでは、制約違反を早期に是正するための妥当性補正を組み込む。
• 最適制御問題のスパarsity構造を活用することで、収束性の向上と計算効率の両立を実現する。
• 状態および制御軌道を同時に伝搬することで、次の反復における初期推定値の質を向上させ、ウォームスタートを強化する。
• ペナルティ関数や圧縮関数の使用を回避することで、収束性の低下や数値的不安定性を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 直接的・間接的ハイブリダイゼーションは、長時間スケールの制御制限付きDDPにおける収束性をどのように向上させるか？
• RQ2 前向きおよび後向きの両パスに妥当性確保を統合することで、数値的安定性にどのような影響を与えるか？
• RQ3 Box-FDDPは、Box-DDPおよび圧縮関数ベースの手法と比較して、収束速度および制約満たしの観点でどのように異なるか？
• RQ4 後向きパスで制御限界を明示的に処理することで、より良いウォームスタートと反復回数の削減が達成できるか？
• RQ5 きつい制御制約および状態制約下でも、ハイブリッドアプローチは計算効率を維持しながら、ロバスト性を向上させられるか？

主な発見

• Box-FDDPは、特に長時間スケールの問題において、標準的なBox-DDPと比較して顕著に改善された数値的収束性を示す。
• 圧縮関数アプローチはしばしば部分最適解を生じるが、Box-FDDPは収束が早く、制約満たしの観点でも優れている。
• 前向きおよび後向きの両パスで制御限界を明示的に処理することで、制約違反が減少し、軌道の妥当性が向上する。
• ハイブリッド定式化により、DDPのスパarsity構造を保ちつつ、ロバスト性が向上する。
• きつい制御バウンディングと複雑なダイナミクスを伴う挑戦的な最適制御問題において、優れた性能を発揮する。
• 状態および制御軌道の共同伝搬により、ウォームスタートが顕著に向上し、収束までの反復回数が削減される。