[論文レビュー] GPU Based Path Integral Control with Learned Dynamics

Grady Williams, Eric Rombokas+1 more|arXiv (Cornell University)|Mar 1, 2015

Robotic Path Planning Algorithms参考文献 9被引用数 11

ひとこと要約

この論文では、学習された確率的ダイナミクスモデル（LWPRを用いて）と不確実性を考慮した計画を統合した、GPUアクセラレートされた再帰的ホライズンパス積分制御アルゴリズムを提示する。GPU上で数千本の軌道をサンプリングし、コストとモデルの不確実性で重み付けすることで、障害物が豊富な環境におけるナノ・クアッドロプターのリアルタイムで安全なナビゲーションを可能にし、単純な学習モデルや解析的ダイナミクスモデルに比べて一貫性と安全性で優れている。

ABSTRACT

We present an algorithm which combines recent advances in model based path integral control with machine learning approaches to learning forward dynamics models. We take advantage of the parallel computing power of a GPU to quickly take a massive number of samples from a learned probabilistic dynamics model, which we use to approximate the path integral form of the optimal control. The resulting algorithm runs in a receding-horizon fashion in realtime, and is subject to no restrictive assumptions about costs, constraints, or dynamics. A simple change to the path integral control formulation allows the algorithm to take model uncertainty into account during planning, and we demonstrate its performance on a quadrotor navigation task. In addition to this novel adaptation of path integral control, this is the first time that a receding-horizon implementation of iterative path integral control has been run on a real system.

研究の動機と目的

• モデルベースのパス積分制御と学習されたダイナミクスモデルを組み合わせた、リアルタイムで再帰的ホライズン最適制御フレームワークの開発。
• 学習されたダイナミクスにおけるモデルバイアスを解消するため、制御計画プロセスにモデルの不確実性を組み込むこと。
• 確率的ダイナミクスモデルを用いて、複雑な環境におけるデータ効率的で自律的なタスク学習を可能にすること。
• 再帰的ホライズンPI²の初の実世界での物理的ロボットへの実装を示すこと。
• 不確実性を考慮した計画によって、障害物が豊富な環境で軌道の分散を暗黙的に最小化することで、安全性と一貫性が向上すること。

提案手法

• 局所加重投影回帰（LWPR）を用いて、平均値と分散の予測を持つ確率的前向きダイナミクスモデルを学習する。
• 修正されたPI²-RH定式化により、学習されたダイナミクスモデルの予測分布全体から軌道をサンプリングすることで、モデルの不確実性を組み込む。
• GPU上で大規模な並列軌道サンプリングを実行し、リアルタイムでパス積分解を効率的に近似する。
• 制御方策は、コスト・トゥ・ゴールの負の指数に比例する重み付け平均によって計算され、温度パラメータλの逆数でスケーリングされる。
• 障害物が豊富な環境では、不確実性が低い安全なパスを優遇することで、軌道の分散を暗黙的に最小化する。
• システムは再帰的ホライズン方式で動作し、各時刻で現在の状態推定値と学習済みモデルを用いて再計画を行う。

実験結果

リサーチクエスチョン

• RQ1 GPUアクセラレートされたパス積分制御フレームワークは、リアルタイムのロボット制御において不確実性を伴う学習されたダイナミクスモデルを効果的に処理できるか？
• RQ2 パス積分制御定式化にモデルの不確実性を組み込むことで、障害物回避における安全性と一貫性がどのように向上するか？
• RQ3 学習されたダイナミクスモデルは、実世界のナビゲーションタスクにおいて、解析的モデルを上回る頑健性と性能を示せるか？
• RQ4 コスト関数に明示的な分散項が存在しないにもかかわらず、アルゴリズムは軌道分散を暗黙的に最小化できるか？
• RQ5 サブロールアウトの数が、計画の安全性、計算コスト、タスク成功確率に与える影響は何か？

主な発見

• アルゴリズムは、M = 1（平均予測のみを使用）を除くすべての設定で障害物回避タスクを正常に完了したが、この設定では7回中4回の成功にとどまった。
• M = 4のサブロールアウトで最良の全体的性能を達成し、解析的モデルをすべての指標で上回った：平均総コスト（5868.72 vs. 6943.27）、秒あたりコスト（168.22 vs. 186.93）、平均最小通過距離（0.30m vs. 0.23m）。
• M = 1の設定では、成功試行の中で平均総コストが最も低かった（5733.55）が、高いリスクと不一致を示し、モデルの不確実性を無視する危険性を示している。
• サブロールアウト数が増加するにつれ、LWPR加速度予測の平均分散は1.39（M=1）から1.14（M=32）に低下し、予測の信頼性が向上した。
• コスト関数に明示的な分散ペナルティが存在しないにもかかわらず、障害物が豊富な環境で軌道分散が暗黙的に最小化され、より安全で確実なパスが優先された。
• 平均最適化時間は34.91ms（M=4）から52.13ms（M=32）の範囲で、実世界への実装可能性を示した。