[論文レビュー] A tree structure algorithm for optimal control problems with state constraints

Alessandro Alla, Maurizio Falcone+1 more|arXiv (Cornell University)|Sep 25, 2020

Advanced Control Systems Optimization参考文献 20被引用数 5

ひとこと要約

本稿では、状態制約付き最適制御問題に対する木構造アルゴリズム（TSA）を提案する。時間離散化と制約を違反する枝を pruning する木構造に基づく動的計画法を用い、固定グリッドを回避し、古典的グリッド法と比較して最大33％のCPU時間削減を達成する。また、散乱補間を用いた正確なフィードバック制御合成が可能であり、無限時間問題における凸制約に対して収束性が証明されている。

ABSTRACT

We present a tree structure algorithm for optimal control problems with state constraints. We prove a convergence result for a discrete time approximation of the value function based on a novel formulation of the constrained problem. Then the Dynamic Programming approach is developed by a discretization in time leading to a tree structure in space derived by the controlled dynamics, in this construction the state constraints are taken into account to cut several branches of the tree. Moreover, an additional pruning allows for the reduction of the tree complexity as for the case without state constraints. Since the method does not use an a priori space grid, no interpolation is needed for the reconstruction of the value function and the accuracy essentially relies on the time step $h$. These features permit a reduction in CPU time and in memory allocations. The synthesis of optimal feedback controls is based on the values on the tree and an interpolation on the values obtained on the tree will be necessary if a different discretization in the control space is adopted, e.g. to improve the accuracy of the method in the reconstruction of the optimal trajectories. Several examples show how this algorithm can be applied to problems in low dimension and compare it to a classical DP method on a grid.

研究の動機と目的

• 次元の呪いを回避する、状態制約付き最適制御問題のグリッドフリー数値法の開発。
• 多価解析の道具を用いて、凸状態制約のもとでの価値関数の離散時間近似の収束性の証明。
• 計算複雑性を低減するため、有限時間問題に木構造アルゴリズム（TSA）を拡張。
• 木ノード上の散乱補間により、価値関数計算に用いられた制御離散化よりも高分解能の制御離散化を可能とし、正確なフィードバック制御合成を実現。
• 低次元問題における凸および非凸制約に対して、古典的グリッドベースの動的計画法と比較して、本手法の効率性と正確性を実証。

提案手法

• 無限時間問題に対して時間離散化を行い、制御ダイナミクスに基づく空間上の木構造を構築する。
• 状態制約は、制約集合を違反する枝を pruning することにより強制され、有効な軌道のみが保持される。
• 事前に空間グリッドを設定せず、価値関数再構築の際の補間を不要とする。
• 2段階目の pruning により、非制約ケースと同様に木の複雑性をさらに低減する。
• フィードバック制御は、木ノード上の値を補間することで合成され、価値関数計算に使用した制御離散化よりも高分解能の制御入力を可能にする。
• 時間依存制約に適応した木構造と pruning 準拠を用いることで、有限時間問題へとアプローチを拡張する。

実験結果

リサーチクエスチョン

• RQ1 木構造アルゴリズムは、凸状態制約付き最適制御問題に対して収束的かつ効率的な数値近似を提供できるか？
• RQ2 固定空間グリッドが存在しない場合、制約付き最適制御における価値関数近似の正確性と計算コストにどのような影響を与えるか？
• RQ3 状態制約に基づく pruning が、動的計画法の木構造の複雑性をどの程度低減できるか？
• RQ4 制約付き問題において、TSA は古典的グリッドベースの動的計画法と比較して、性能と正確性で優れているか？
• RQ5 木ノード上の散乱補間により、価値関数計算に使用した制御離散化よりも細かい制御入力数を用いても、高精度なフィードバック制御合成が可能になるか？

主な発見

• TSA は、古典的グリッドベース手法と比較して、CPU時間を約33％削減する。テストケースでは、TSA が17秒、グリッド法が25秒を要した。
• 木構造に基づく空間構造のおかげで、補間を一切行わず、時間ステップ $ h $ のみを用いることで、価値関数近似が高精度に達成される。
• TSA を用いて計算された最適軌道は、古典的手法とほぼ同一のコスト関数値を示し、正確性が確認された。
• 木構造は、枝の pruning によって自然に状態制約を満たすため、複雑な制約領域でも安定的かつ有効な軌道計算が可能である。
• 木ノード上の散乱補間により、価値関数計算に使用した制御離散化よりも多くの制御入力を用いた高精度なフィードバック制御合成が可能である。
• 数値実験では、凸および非凸制約の両方を効果的に処理できたが、収束結果は凸ケースに限定されている。