[論文レビュー] A Computationally Efficient Hamilton-Jacobi-based Formula for State-Constrained Optimal Control Problems

Donggun Lee, Claire J. Tomlin|arXiv (Cornell University)|Jun 25, 2021

Advanced Control Systems Optimization被引用数 5

ひとこと要約

本稿では、非線形システムにおける状態制約付き有限区間最適制御問題を解くために、計算的に効率的なハミルトニアン・ジャコビに基づく公式、すなわち一般化されたラクス公式を提案する。状態変数および制御変数における凸性とアフィンな力学系を活用することで、時間離散化と勾配ベース最適化を用いた効率的な数値的解法が可能となり、グリッドベース手法と比較して計算複雑性が著しく低減される。

ABSTRACT

This paper investigates a Hamilton-Jacobi (HJ) analysis to solve finite-horizon optimal control problems for high-dimensional systems. Although grid-based methods, such as the level-set method [1], numerically solve a general class of HJ partial differential equations, the computational complexity is exponential in the dimension of the continuous state. To manage this computational complexity, methods based on Lax-Hopf theory have been developed for the state-unconstrained optimal control problem under certain assumptions, such as affine dynamics and state-independent stage cost. Based on the Lax formula [2], this paper proposes an HJ formula for the state-constrained optimal control problem for nonlinear systems. We call this formula \ extit{the generalized Lax formula} for the optimal control problem. The HJ formula provides both the optimal cost and an optimal control signal. We also provide an efficient computational method for a class of problems for which the dynamics is affine in the state, and for which the stage and terminal cost, as well as the state constraints, are convex in the state. This class of problems does not require affine dynamics and convex stage cost in the control. This paper also provides three practical examples.

研究の動機と目的

• 高次元最適制御問題におけるグリッドベースのハミルトニアン・ジャコビ（HJ）手法の指数的計算複雑性に対処すること。
• 非線形力学系および一般化された段階コストを有する状態制約付き最適制御問題に、ラクス＝ホプフ理論を拡張すること。
• アフィンな力学系と凸段階／終端コストおよび状態制約を有する系に対して、計算的に効率的な手法を開発すること。
• 最適コストと制御信号を、数値的に取り扱いやすい最適化フレームワークを通じて得られる公式を提供すること。

提案手法

• コステートに関してハミルトニアンが凸である状態制約付き最適制御問題に一般化されたラクス公式を提案する。
• HJ偏微分方程式の時間離散化を用いて、問題を有限次元最適化問題に変換する。
• 問題が凸である場合に限り、離散化された問題に対して勾配ベース最適化技術を適用する。
• アフィンな力学系、凸段階コストおよび終端コスト、凸状態制約を有する問題クラスにこの手法を適用し、制御にアフィン性を要件としない。
• 力学系、コスト関数、終端関数のリプシッツ連続性を用いて誤差バウンドを導出し、近似軌道の収束を保証する。
• 実用的応用例3つを用いて、計算効率性と精度を検証する。

実験結果

リサーチクエスチョン

• RQ1 非線形力学系および一般化された段階コストを有する状態制約付き最適制御問題に、ラクスベースの公式を一般化できるか？
• RQ2 最適性を保ちながら、高次元HJ偏微分方程式の計算複雑性をどのように低減できるか？
• RQ3 力学系およびコスト関数にどのような条件が成立すれば、勾配ベース最適化による効率的数値解法が可能になるか？
• RQ4 提案手法は、近似解に対して、どの程度の精度と収束性を維持するか？

主な発見

• 一般化されたラクス公式は、非線形力学系を有する状態制約付き最適制御問題に対して、最適コストと制御信号の両方を提供する。
• アフィンな力学系と凸段階／終端コストおよび制約を有する系では、時間に沿った離散化された問題上で勾配ベース最適化を用いることで、効率的な計算が可能になる。
• 離散化を細かくすることで、近似された状態軌道および制御軌道が真の解に収束し、誤差バウンドが離散化ステップサイズおよび近似許容誤差に比例することが示された。
• 理論的分析により、時間離散化が細かくなるほどおよび近似誤差が小さくなるほど、コスト関数および状態軌道における誤差が減少することが確認された。
• グリッドベース手法と比較して計算複雑性が低減され、従来では取り扱いが困難であった高次元状態空間を有する問題に対しても実行可能であることが示された。