[論文レビュー] Approximating the Stationary Hamilton-Jacobi-Bellman Equation by Hierarchical Tensor Products

Mathias Oster, Leon Sallandt+1 more|arXiv (Cornell University)|Nov 1, 2019

Model Reduction and Neural Networks参考文献 2被引用数 12

ひとこと要約

本稿では、空間的に離散化された非線形放物型PDEの無限時間ホライズン最適制御に由来する高次元定常Hamilton-Jacobi-Bellman (HJB) 方程式を解くために、階層的テンソルトレイン (TT) および多項式近似法を提案する。方策反復を線形な双曲型PDEに再定式化し、高次元積分を用いたKoopman作用素を適用することで、値関数の低ランク近似が可能となり、粘性バーガース方程式およびシュローグル方程式において収束性と数値的安定性が示された。

ABSTRACT

We treat infinite horizon optimal control problems by solving the associated stationary Hamilton-Jacobi-Bellman (HJB) equation numerically, for computing the value function and an optimal feedback area law. The dynamical systems under consideration are spatial discretizations of nonlinear parabolic partial differential equations (PDE), which means that the HJB is suffering from the curse of dimensions. To overcome numerical infeasability we use low-rank hierarchical tensor product approximation, or tree-based tensor formats, in particular tensor trains (TT tensors) and multi-polynomials, since the resulting value function is expected to be smooth. To this end we reformulate the Policy Iteration algorithm as a linearization of HJB equations. The resulting linear hyperbolic PDE remains the computational bottleneck due to high-dimensions. By the methods of characteristics it can be reformulated via the Koopman operator in the spirit of dynamic programming. We use a low rank tensor representation for approximation of the value function. The resulting operator equation is solved using high-dimensional quadrature, e.g. Variational Monte-Carlo methods. From the knowledge of the value function at computable samples $x_i$ we infer the function $ x \mapsto v (x)$. We investigate the convergence of this procedure. By controlling destabilized versions of viscous Burgers and Schloegl equations numerical evidences are given.

研究の動機と目的

• 空間的に離散化された非線形放物型PDEに支配される無限時間ホライズン最適制御問題における次元の呪いに対処すること。
• 高次元における定常HJB方程式の値関数を近似する数値的に実行可能な手法を開発すること。
• 滑らかな値関数の効率的表現のために、特にテンソルトレインおよび多項式を含む低ランクテンソル形式を活用すること。
• 方策反復を線形双曲型PDEに再定式化し、Koopman作用素と高次元積分を用いて解くこと。
• 不安定化された粘性バーガース方程式およびシュローグル方程式を用いた数値実験により、手法を検証すること。

提案手法

• 定常HJB方程式を方策反復プロセスに再定式化し、非線形HJB方程式を線形双曲型PDEの系列に線形化する。
• 特性曲線法を適用して、線形双曲型PDEをKoopman作用素に基づく発展方程式に変換する。
• 値関数を階層的テンソル形式、特にテンソルトレイン (TT) および多項式を用いて表現し、低ランク構造を活用する。
• 選択された点における値関数のサンプリングに、高次元積分技術（例：変分的モンテカルロ法）を用いる。
• 離散的サンプルから $ x \mapsto v(x) $ のグローバルな値関数を低ランクテンソル近似により推定する。
• 粘性バーガース方程式およびシュローグル方程式の安定化および不安定化されたバージョンに手法を適用することで、解の数値的安定性を制御する。

実験結果

リサーチクエスチョン

• RQ1 低ランクテンソル形式は、放物型PDEに由来する高次元HJB方程式の値関数を効果的に近似できるか？
• RQ2 Koopman作用素を用いた方策反復の再定式化により、高次元における線形双曲型PDEの安定的かつ効率的な解法が可能になるか？
• RQ3 テンソルトレイン近似と組み合わせた高次元積分法は、収束性と精度をどの程度保持するか？
• RQ4 非線形性と高次元性を有する制御が不安定化するPDE、たとえば粘性バーガース方程式およびシュローグル方程式において、この手法はどの程度の性能を示すか？
• RQ5 テンソルベースの補間を用いることで、計算可能なスパarsなサンプルから値関数を正確に再構築できるか？

主な発見

• 提案手法は、低ランクテンソルトレインおよび多項式を用いて、次元の呪いを克服したHJB方程式の値関数の近似に成功した。
• Koopman作用素による方策反復の再定式化により、線形双曲型PDEに対する安定的かつ計算的に実行可能な解法パスが得られた。
• 高次元積分法（例：変分的モンテカルロ法）により、高次元状態空間における値関数の正確なサンプリングが可能となった。
• テストケース全体にわたり一貫した誤差低減が観察されたことから、数値的解法プロセスにおける収束性が示された。
• 不安定化された粘性バーガース方程式およびシュローグル方程式に対する数値実験では、非線形性や高次元性にもかかわらず、手法が安定性と精度を維持した。
• サンプル点からのテンソルベースの近似により、値関数が正確に再構築されたことから、低ランク表現の有効性が確認された。