[論文レビュー] OptimizedDP: An Efficient, User-friendly Library For Optimal Control and Dynamic Programming

B. Minh, Hu, Hanyang+5 more|arXiv (Cornell University)|Apr 12, 2022

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

OptimizedDP は、HeteroCL および TVM ベースのコード生成を用いて動的計画法および最適制御計算を高速化する、高パフォーマンスで使いやすい Python ライブラリです。価値反復においては純粋な Python に対して最大 789× の高速化を達成し、6次元までの到達可能性解析を可能にし、MATLAB や C++ のツールボックスを著しく上回ります。

ABSTRACT

This paper introduces OptimizedDP, a high-performance software library for several common grid-based dynamic programming (DP) algorithms used in control theory and robotics. Specifically, OptimizedDP provides functions to numerically solve a class of time-dependent (dynamic) Hamilton-Jacobi (HJ) partial differential equations (PDEs), time-independent (static) HJ PDEs, and additionally value iteration for continuous action-state space Markov Decision Processes (MDP). The computational complexity of grid-based DP is exponential with respect to the number of grid or state space dimensions, and thus can have bad execution runtimes and memory usage whenapplied to large state spaces. We leverage the user-friendliness of Python for different problem specifications without sacrificing the efficiency of the core computation. This is achieved by implementing the core part of the code which the user does not see in heterocl, a framework we use to abstract away details of how computation is parallelized. Compared to similar toolboxes for level set methods that are used to solve the HJ PDE, our toolbox makes solving the PDE at higher dimensions possible as well as achieving an order of magnitude improvements in execution times, while keeping the interface easy for specifying different problem descriptions. Because of that, the toolbox has been adopted to solve control and optimization problems that were considered intractable before. Our toolbox is available publicly at https://github.com/SFU-MARS/optimized_dp.

研究の動機と目的

• ロボット工学や制御分野において、連続状態 MDP 価値反復およびハミルトニアン・ジャコビ PDE 解法に向けた、効率的で使いやすいツールの不足に対処する。
• MATLAB ベースの ToolboxLS や HelperOC のような既存のツールボックスが 4 次元問題に限定され、遅いため、スケーラビリティの限界を克服する。
• C++/CUDA レベルの速度と Python レベルの使いやすさを統合することで、BEACLS の代替となる高性能なソリューションを提供する。
• 高性能な数値アルゴリズムの最適化により、6 次元までの高次元システムの実用的到達可能性解析を可能にする。
• 動的計画法に基づく最適制御および到達可能性解析において、プロトタイピングの効率性と計算の効率性のギャップを埋める。

提案手法

• 問題定義のための Python フロントエンドと、HeteroCL を用いた高性能バックエンド実行を用いて、HJ PDE 解法、BRT/BRS 計算、到達時間、価値反復のコアアルゴリズムを実装する。
• TVM をベースにした HeteroCL（Python ベースの DSL）を活用し、アルゴリズム定義と低レベルのスケジューリング・最適化を分離する。
• TVM のグラフレベル最適化およびカスタムスケジューリング変換を適用し、高次元グリッドにおけるメモリアクセスおよび浮動小数点演算の高速化を実現する。
• HJ PDE ソルバーにおける正確な微分近似のため、ENO（本質的に非振動的）スキームを採用し、1 階および 2 階の精度をサポートする。
• 構造化グリッド上の反復的動的計画法を実装することで、MDP 価値反復における連続状態および連続制御入力空間のサポートを実現する。
• HeteroCL における CUDA を介した GPU 加速により、特に 5 次元および 6 次元問題における大規模グリッドの計算を高速化する。

実験結果

リサーチクエスチョン

• RQ1 BEACLS のような C++/CUDA ツールボックスと同等のパフォーマンスを実現しつつ、システムモデルの記述において Python の使いやすさを維持できるか。
• RQ2 HeteroCL および TVM ベースのコード生成は、高次元グリッドにおける動的計画法アルゴリズムの実行をどの程度高速化できるか。
• RQ3 計算制限により過去のツールが失敗する 6 次元システムの到達可能性解析に、このライブラリはスケーラブルか。
• RQ4 連続 MDP における価値反復のパフォーマンスは、純粋な Python 実装と比べてどの程度向上するか。
• RQ5 HJ PDE ソルバーで異なる次数の ENO スキームを使用する際の、数値的精度と計算速度のトレードオフは何か。

主な発見

• 3D 価値反復において、50×50×30 グリッドで純粋な Python と比較し最大 789× の高速化を達成し、実行時間を 773 秒から 0.98 秒に短縮した。
• 40⁵ グリッドを用いた 5D HJ PDE 解法において、OptimizedDP は 0.98 秒で実行され、2 階 ENO を用いて BEACLS（8.28 秒）を 8.44 倍の速度で上回った。
• このライブラリにより、水中車両追跡のような 6 次元システムの到達可能性解析が可能になった。これは、過去のツールボックスでは計算制限のため処理できなかった。
• 3D HJ PDE 解法において、OptimizedDP は MATLAB ベースの ToolboxLS より 32 倍、HelperOC より 10 倍の高速化を達成し、最大解の差は 1.4×10⁻⁶ であった。
• 実装は高い数値的精度を維持しており、HJ PDE では参照解との最大差が 10⁻⁶ 未満、価値反復では 0.25 未満であった。
• HeteroCL と TVM の組み合わせにより、効率的なコード生成とスケジューリングが可能となり、高レベルの Python インターフェースからも高性能な数値計算が利用可能になった。