[論文レビュー] Trajectory Optimization Algorithm Studies

Manan Gandhi|arXiv (Cornell University)|Jun 2, 2015

Spacecraft Dynamics and Control参考文献 2被引用数 3

ひとこと要約

本稿では、非線形力学系における軌道最適化において、微分動的プログラミング（DDP）とガウス擬スペクトル最適制御（GPOC）を比較している。DDPは、局所的な二次近似を用いて制御シーケンスを反復的に改善する前向き・後向きのパスを用いる。一方、GPOCは、ルジャンドル＝ガウス＝ロバッチ・コロケーションを用いて最適制御問題を非線形計画問題に変換する。短い時間スパンでは、DDPは制御効率が高く、収束が速いが、長い時間スパンではGPOCがより効率的であるが、問題構造への深い洞察を要する。

ABSTRACT

In complex engineered systems, completing an objective is sometimes not enough. The system must be able to reach a set performance characteristic, such as an unmanned aerial vehicle flying from point A to point B, extit{under 10 seconds}. This introduces the notion of optimality, what is the most efficient, the fastest, the cheapest way to complete a task. This report explores the two pillars of optimal control, Bellman's Dynamic Programming and Pontryagin's Maximum Principle, and compares implementations of both theories onto simulated systems. Dynamic Programming is realized through a Differential Dynamic Programming Algorithm, where utilizes a forward-backward pass to iteratively optimize a control sequence and trajectory. The Maximum Principle is realized via Gauss Pseudospectral Optimal Control, where the optimal control problem is first approximated through polynomial basis functions, then solved, with optimality being achieved through the costate equations of the Maximum Principle. The results of the report show that, for short time Horizons, DDP can optimize quickly and can generate a trajectory that utilizes less control effort for the same problem formulation. On the other hand Pseudospectral methods can optimize faster for longer time horizons, but require a key understanding of the problem structure. Future work involves completing an implementation of DDP in a C++ code, and testing the speed of convergence for both methods, as well as extended the Pseudospectral Optimal Control framework in to the world of stochastic optimal control.

研究の動機と目的

• 複雑な動的および代数的制約下での最適制御問題を解く際、微分動的プログラミング（DDP）とガウス擬スペクトル最適制御（GPOC）の性能を比較すること。
• さまざまな時間スパンにおいて、計算速度、収束速度、制御効率の最適性のトレードオフを評価すること。
• 離散化パラメータ、コスト関数の重み付け、問題構造に対する各手法の感受性を評価すること。
• DDPおよびGPOCを確率的最適制御および接触ダイナミクスに拡張可能かどうかを検討すること。
• 二重カート・ペンダulumおよびクアッドローターを用いて、実際の状態および制御制約を含むベンチマーク系で両手法の妥当性を検証すること。

提案手法

• 名目軌道の周囲で動的およびコスト関数を線形化し、フィードバックゲインと改善された制御シーケンスを計算する前向き・後向き反復スキームを用いてDDPを実装する。
• 連続的な最適制御問題をルジャンドル＝ガウス＝ロバッチ・コロケーション点を用いて非線形計画問題に変換することで、ガウス擬スペクトル最適制御（GPOC）を適用する。
• DDPの理論的基盤としてハミルトニアン＝ジャコビ＝ベルマン方程式を用い、動的プログラミングを用いて最適性の必要条件を導出する。
• ポントリャーギンの最大原理を用いて、GPOCにおける最適性条件を規定するコストート方程式を導出する。
• 時間スパンを固定区間に分割し、勾配に基づく最適化を用いた逐次二次計画法（SQP）ソルバを用いて両手法を解く。
• 両フレームワークに状態および制御制約を組み込むために、境界を設定し、コスト関数にペナルティ項を導入する。

実験結果

リサーチクエスチョン

• RQ1 短い時間スパンにおける最適制御問題において、DDPとGPOCの収束速度および最終コストはどのように比較されるか？
• RQ2 さまざまな時間スパンにおいて、DDPとGPOCを用いた場合の制御効率と計算時間のトレードオフは何か？
• RQ3 DDPおよびGPOCは、離散化時間ステップサイズおよびコスト関数の重み付けパラメータに対してどの程度感受性を示すか？
• RQ4 制御効率および軌道の滑らかさの観点から、DDPがGPOCを上回る状況はどのようなものか？
• RQ5 制御効率が重視される状況では、長時間計算を要するにしても、GPOCはDDPを上回る解の質を達成できるか？

主な発見

• 二重カート・ペンドulum系では、DDPは59秒で最終コスト0.3632を達成したが、GPOCは15秒でより低いコスト0.187に到達した。これは、制御効率が重視される状況でGPOCが優れた最適性を示していることを示している。
• DDPはペンドulumを起こすために4秒の時間スパンをすべて使用したが、GPOCはより早く目標に到達し、状態のずれを小さく保った。これは、GPOCの早期収束を活用できる能力を示している。
• クアッドローター実験では、DDPは41秒でコスト44.6182で収束したが、GPOCは18秒でコスト47.9891を達成した。これは、GPOCがコストがやや高いものの、より速い実行時間を示していることを示している。
• GPOCは特にクアッドローターのケースで、DDPよりも最大および最小の制御入力を大きく示した。これは、より速く目標に到達するために高い制御活動を示している。
• DDPは時間ステップサイズおよびコスト関数の重み付けに非常に感受性を示し、しばしば目標状態に正確に収束しなかったが、GPOCはより強固に正確な最終状態制約を満たした。
• DDPのコスト軌道は最適化中に振動を示した。これは反復的なポリシー改善プロセスを反映している。一方、GPOCのコストは単調に減少し、安定した収束を示している。