[論文レビュー] Lax-Oleinik-type formulas and efficient algorithms for certain high-dimensional optimal control problems

Paula Chen, Jérôme Darbon+1 more|arXiv (Cornell University)|Sep 30, 2021

Model Reduction and Neural Networks参考文献 83被引用数 4

ひとこと要約

本稿では、状態依存の報酬コストと制御制約を伴う高次元最適制御問題に対するLax-Oleinik型表現公式とグリッドフリー数値スケーラーを提示する。最小加法代数と凸最適化を活用することで、次元に対して線形スケーリングを達成し、FPGAと比較して40倍以上の高速化を実現し、リアルタイム応用における次元の呪いを克服する。

ABSTRACT

Two of the main challenges in optimal control are solving problems with state-dependent running costs and developing efficient numerical solvers that are computationally tractable in high dimension. In this paper, we provide analytical solutions to certain optimal control problems whose running cost depends on the state variable and with constraints on the control. We also provide Lax-Oleinik-type representation formulas for the corresponding Hamilton-Jacobi partial differential equations with state-dependent Hamiltonians. Additionally, we present an efficient, grid-free numerical solver based on our representation formulas, which is shown to scale linearly with the state dimension, and thus, to overcome the curse of dimensionality. Using existing optimization methods and the min-plus technique, we extend our numerical solvers to address more general classes of convex and nonconvex initial costs. We demonstrate the capabilities of our numerical solvers using implementations on a central processing unit (CPU) and a field-programmable gate array (FPGA). In several cases, our FPGA implementation obtains over a 10 times speedup compared to the CPU, which demonstrates the promising performance boosts FPGAs can achieve. Our numerical results show that our solvers have the potential to serve as a building block for solving broader classes of high-dimensional optimal control problems in real-time.

研究の動機と目的

• 状態依存の報酬コストと制御制約を伴う高次元最適制御問題を解く挑戦に取り組む。
• 状態依存のハミルトニアンを伴うハミルトン・ジャコビPDEに対する解析的表現公式を開発する。
• グリッドフリーの数値スケーラーを設計し、状態次元に対して線形にスケーリングすることで、次元の呪いを克服する。
• CPUおよびFPGAプラットフォームに効率的なスケーラーを実装し、リアルタイム性能を実現する。
• FPGAアクセcelレーションによる高次元最適制御の実現可能性と性能向上を実証する。

提案手法

• 最小加法代数と凸最適化を用いて、状態依存のハミルトニアンを伴うハミルトン・ジャコビPDEに対するLax-Oleinik型表現公式を導出する。
• これらの表現公式に基づくグリッドフリーの数値スケーラーを構築し、従来のグリッドベース離散化を回避する。
• 要素ごとおよび点ごとの並列化を活用して、状態次元nに比例して効率的にスケーリングする。
• CPUおよびFPGAにスケーラーを実装し、FPGAの並列性と低遅延ストリーミングを活用して高スループット計算を実現する。
• 最小加法技術と既存の最適化手法を適用して、凸および非凸の初期コスト関数に対してもスケーラーを拡張する。
• 三次元の部分問題に対し、スケーラー部品を3つの並列インスタンスで構築し、(51)を用いて結果を統合する。

実験結果

リサーチクエスチョン

• RQ1 状態依存のハミルトニアンを伴うハミルトン・ジャコビPDEに対して、解析的Lax-Oleinik型公式を導出可能か？
• RQ2 このような問題に対して、状態次元に線形にスケーリングするグリッドフリーの数値スケーラーを設計可能か？
• RQ3 FPGAアクセcelレーションは、高次元最適制御におけるCPU実装と比較して、どの程度性能を向上させられるか？
• RQ4 スケーラーは凸および非凸の初期コスト関数において、どのように動作するか？
• RQ5 複数のFPGAコアにわたる並列化を効率的に行うことで、さらなるスループット向上が可能か？

主な発見

• 16次元問題において、FPGA上の平均40倍の高速化が達成され、1点あたりのFPGA実行時間は6×10⁻⁸秒未満であった。
• FPGA実装の遅延は次元nに比例して増加するが、リソース使用量はほぼ一定であり、強力なスケーラビリティを示している。
• Xilinx Alveo U280ボードでは、利用可能なリソースの30％未満を消費しており、さらなる並列化が可能で、総合的な118倍の高速化が見込まれる。
• 16次元問題におけるCPU実装は、1点あたり3×10⁻⁶秒未満で実行され、従来のハードウェアでも効率的であることが示された。
• 状態次元に線形にスケーリングすることで、次元の呪いを克服し、リアルタイムでの高次元最適制御を可能にした。
• 最小加法技術と既存の最適化アルゴリズムを用いることで、一般の凸および非凸初期コスト関数に対しても拡張可能である。