[論文レビュー] Hamiltonian-Based Algorithm for Optimal Control

Matthew Hale, Y. Wardi+2 more|arXiv (Cornell University)|Mar 9, 2016

Advanced Control Systems Optimization参考文献 29被引用数 10

ひとこと要約

本論文は、緩和制御の空間で動作するハミルトニアンに基づく最適制御アルゴリズムを提案する。この手法は、勾配計算を明示的に行わずに、ハミルトニアンの局所的最小化によって降下方向を計算する。シミュレーションにおいてハイブリッドシステムおよび移動ロボットネットワークで高速収束を示し、粗い積分ステップを用いて1秒未満でほぼグローバル最小値に到達する。

ABSTRACT

This paper proposes an algorithmic technique for a class of optimal control problems where it is easy to compute a pointwise minimizer of the Hamiltonian associated with every applied control. The algorithm operates in the space of relaxed controls and projects the final result into the space of ordinary controls. It is based on the descent direction from a given relaxed control towards a pointwise minimizer of the Hamiltonian. This direction comprises a form of gradient projection and for some systems, is argued to have computational advantages over direct gradient directions. The algorithm is shown to be applicable to a class of hybrid optimal control problems. The theoretical results, concerning convergence of the algorithm, are corroborated by simulation examples on switched-mode hybrid systems as well as on a problem of balancing transmission- and motion energy in a mobile robotic system.

研究の動機と目的

• 局所的ハミルトニアン最小化が計算的に実行可能であるような最適制御問題のクラスに対して、効率的なアルゴリズムを開発すること。
• 無限次元最適制御における収束の課題を、緩和制御とポラックの最適性関数フレームワークを活用することで解決すること。
• スイッチングモードのハイブリッドシステムおよび移動ロボットネットワークにおけるエネルギーバランス問題にアルゴリズムを適用すること。
• 実世界の制御問題におけるシミュレーションを通じて、従来の勾配法と比較して計算上の利点を示すこと。

提案手法

• アルゴリズムは、制御集合 U 上の確率測度である緩和制御の空間で動作し、コンact性を保証し、解の存在を保証する。
• 各反復において、ハミルトニアンの局所的最小化により降下方向が計算され、二点境界値問題の解法を回避する。
• 状態方程式の逐次前向き積分と、随伴（コストート）方程式の後向き積分を用いて、ハミルトニアンの最小化者を計算する。
• 降下方向は勾配射影の一種であり、特定のシステムでは直接的な勾配計算よりも計算上の利点をもたらすと主張される。
• 実装のため、最終的な緩和制御解を通常の制御空間に再投影する。
• 収束を保証し、無限次元最適化の課題に対処するため、ポラックのフレームワークを用いて離散化レベルを適応的に選択する。

実験結果

リサーチクエスチョン

• RQ1 緩和制御を用いたハミルトニアンベースのアルゴリズムは、従来の勾配法と比較して最適制御問題においてより高速な収束を達成できるか？
• RQ2 局所的ハミルトニアン最小化は、明示的勾配計算と比較して、計算効率および収束速度の面でどのように異なるか？
• RQ3 このアルゴリズムは、スイッチングダイナミクスと入力制約を有するハイブリッドシステムをどの程度効果的に処理できるか？
• RQ4 シミュレーションによって、移動ロボットネットワークにおける送信エネルギーと運動エネルギーのバランスを効果的に制御できるか？

主な発見

• Δt = 0.01 を用いた200反復で、コストは81,883.4から1,253.4に低下し、5反復で98.5%の削減、10反復で99%の削減を達成した。
• Δt = 0.1 を用いた場合、100反復でCPU時間0.5645秒で最終コスト1,260.4を達成し、顕著なグローバル最小値1,253.4に非常に近い値に到達した。
• 5反復で全コスト削減の98%に到達しており、初期段階での高速収束が示された。
• Δt = 0.01 で20反復実行した場合、0.8653秒でコスト1,455.5を達成し、速度と精度の強いトレードオフが示された。
• 異なる積分ステップサイズに対して、本手法は収縮性と効率性を示し、粗いステップでも精度の損失が最小限に抑えられた。
• 移動ロボットネットワークのシミュレーション結果は、本アルゴリズムが実世界のエネルギーバランス問題への実用的適用性を有することを確認した。