[論文レビュー] Mitigating the Curse of Dimensionality: Sparse Grid Characteristics Method for Optimal Feedback Control and HJB Equations

Wei Kang, Lucas C. Wilcox|arXiv (Cornell University)|Jul 16, 2015

Computational Fluid Dynamics and Aerodynamics参考文献 30被引用数 6

ひとこと要約

本稿では、最適フィードバック制御のためのハミルトニアン＝ジャコビ＝ベルマン（HJB）方程式を解く際の次元の呪いを軽減するため、スパースグリッド特徴線法を提案する。スパースグリッド点における特徴線境界値問題を導出するためにポントレヤーギンの最大原理を適用することで、因果関係のない完全並列計算が可能となり、補間によって高次精度が達成される。6次元系において45万点を超えるグリッド点を用いて効果的な解法が実証されたが、これは1兆点を超える密度グリッドに比べてはるかに効率的である。

ABSTRACT

We address finding the semi-global solutions to optimal feedback control and the Hamilton--Jacobi--Bellman (HJB) equation. Using the solution of an HJB equation, a feedback optimal control law can be implemented in real-time with minimum computational load. However, except for systems with two or three state variables, using traditional techniques for numerically finding a semi-global solution to an HJB equation for general nonlinear systems is infeasible due to the curse of dimensionality. Here we present a new computational method for finding feedback optimal control and solving HJB equations which is able to mitigate the curse of dimensionality. We do not discretize the HJB equation directly, instead we introduce a sparse grid in the state space and use the Pontryagin's maximum principle to derive a set of necessary conditions in the form of a boundary value problem, also known as the characteristic equations, for each grid point. Using this approach, the method is spatially causality free, which enjoys the advantage of perfect parallelism on a sparse grid. Compared with dense grids, a sparse grid has a significantly reduced size which is feasible for systems with relatively high dimensions, such as the $6$-D system shown in the examples. Once the solution obtained at each grid point, high-order accurate polynomial interpolation is used to approximate the feedback control at arbitrary points. We prove an upper bound for the approximation error and approximate it numerically. This sparse grid characteristics method is demonstrated with two examples of rigid body attitude control using momentum wheels.

研究の動機と目的

• 高次元非線形システムにおける最適フィードバック制御のためのHJB方程式を解く際の次元の呪いを克服すること。
• 現代のアーキテクチャに適した完全並列計算を可能にする因果関係のない数値的手法を開発すること。
• 密度グリッドに比べてグリッドサイズを顕著に削減するスパースグリッドを用いたHJB方程式の半グローバル解法を提供すること。
• 高次多項式補間と数値的に検証可能な誤差境界を用いて高精度を確保すること。

提案手法

• 状態空間にスパースグリッドを構築し、密度グリッドに比べてグリッド点の数を著しく削減する。
• 各グリッド点に対して、ポントレヤーギンの最大原理を適用して特徴方程式としての二点境界値問題（BVP）を導出する。
• 各BVPをロバッチョIIIa法を用いて独立に解くことで、空間的因果関係が存在しないため完全並列化が可能となる。
• グリッド点における解を用いて、任意の状態におけるフィードバック制御のための高次多項式補間を構築する。
• HJB PDEの直接離散化を避ける代わりに、特徴線を介して必要条件を解く。
• 合計近似誤差の上界を導出し、モンテカルロサンプリングを用いて数値的に検証する。

実験結果

リサーチクエスチョン

• RQ1 6つ以上の状態変数を有する系において、HJB方程式の解法における次元の呪いを効果的に軽減できるか？
• RQ2 現代のハードウェア上で完全並列化を実現できるように、最適制御問題における因果関係のない計算をどのように達成できるか？
• RQ3 スパースグリッド上の補間によるフィードバック制御の達成可能な精度は何か？ また、誤差を定量的に境界付けることができるか？
• RQ4 不安定で制御不能な剛体姿勢制御（モーメントウエルズを備えた系）のような複雑な動的特性を有する系に対しても、この手法は解を計算できるか？
• RQ5 時間状態空間のスパースグリッドを用いて、可変時間ホライズンのモデル予測制御（MPC）にこのアプローチを拡張できるか？

主な発見

• 本手法は、約4.5 × 10⁵個のスパースグリッド点を用いて6次元HJB方程式の半グローバル解を効果的に計算したが、対応する密度グリッドでは10¹²点以上が必要となる。
• 補間された値関数V(t, x)の平均絶対誤差（MAE）は8.5 × 10⁻⁴であり、誤差分布の分散は2.8 × 10⁻⁶であった。
• 各グリッド点におけるBVPを独立に解くことで、完全並列化が達成され、多数コアを有するコンピューティングアーキテクチャを効率的に活用できた。
• 補間誤差とBVP解法誤差の組み合わせ誤差の上界は、1,200個のランダムテストポイントを用いて数値的に近似・検証された。
• 可変時間ホライズンを有するモデル予測制御（MPC）を用いて、状態ノイズが存在する状況でも効果的な閉ループ制御が実現可能であった。
• 本手法により、2組のモーメントウエルズを有する6次元剛体姿勢制御系におけるHJB方程式の解が、初めて計算された。この系は制御不能であり、かつ従来未解決であった。