[論文レビュー] Model Predictive Path Integral Control using Covariance Variable Importance Sampling

Grady Williams, Andrew Aldrich+1 more|arXiv (Cornell University)|Sep 3, 2015

Advanced Control Systems Optimization参考文献 22被引用数 71

ひとこと要約

本稿では、一般化された尤度比を用いて、確率的サンプリングにおけるドリフト（平均）と拡散（分散）を独立に調整可能な可変重要度サンプリングを可能にする、モデル予測経路積分（MPPI）制御アルゴリズムを提案する。GPUを用いた並列サンプリングと、新しい共分散-重要度サンプリング方式を活用することで、非線形で高次元な制御タスクにおいて優れた性能を発揮し、コーナリングや障害物回避において微分動的プログラミング（DDP）を上回る。理論的厳密性を保ちつつ、衝突ペナルティのような滑らかでないコスト関数も扱える。

ABSTRACT

In this paper we develop a Model Predictive Path Integral (MPPI) control algorithm based on a generalized importance sampling scheme and perform parallel optimization via sampling using a Graphics Processing Unit (GPU). The proposed generalized importance sampling scheme allows for changes in the drift and diffusion terms of stochastic diffusion processes and plays a significant role in the performance of the model predictive control algorithm. We compare the proposed algorithm in simulation with a model predictive control version of differential dynamic programming.

研究の動機と目的

• 標準的な経路積分制御では、サンプリング分布の平均しか調整できないため、非線形系では探索が不十分になるという限界を解消すること。
• 経路積分理論に反しない形で、サンプリング分布のドリフト（平均）と拡散（分散）を独立に調整可能な一般化された重要度サンプリング枠組みを構築すること。
• GPU上の並列サンプリングを活用したリアルタイムのモデル予測制御を実現し、高次元状態空間を有する複雑な非線形系への適用を可能にすること。
• 勾配ベースの手法（例：DDP）が困難な滑らかでないコスト関数（例：衝突ペナルティ）を伴う挑戦的な制御タスクにおける性能向上を図ること。
• 探索分散のチューニングが、複雑な操縦動作における収束性と制御性能を顕著に向上させることを示すこと。

提案手法

• 離散時間の拡散過程に対して一般化された尤度比を導出し、サンプリング分布の平均（ドリフト）と分散（拡散）の両方を制御可能にする。
• ギルサノフの定理を適用して、制御された分布からサンプリングされた軌道を再重み付けし、元の非制御ダイナミクス下での期待コスト・トゥ・ゴールの不偏推定を保証する。
• アルゴリズムはGPU上で並列的に軌道をサンプリングし、モデル予測制御（MPC）フレームワークにおける制御系列のリアルタイム最適化を可能にする。
• パラメータ化された確率的拡散過程から、調整可能なドリフト項と拡散項を持つ制御系列を繰り返しサンプリングすることで制御方策を更新する。
• コスト関数には、障害物接近に対する指数関数的ペナルティや衝突インジケータといった滑らかでない項が含まれており、これらはサンプリングベースのアプローチのおかげで自然に扱える。
• 勾配情報に依存しないため、非微分可能または非凸なダイナミクスやコストを持つシステムに対しても適している。

実験結果

リサーチクエスチョン

• RQ1 経路積分制御フレームワークを一般化し、サンプリング分布におけるドリフトと拡散の独立的チューニングを可能にすることで、非線形系における探索性能が向上するか？
• RQ2 可変分散サンプリングを組み込むことで、リアルタイムのモデル予測制御における収束速度と性能にどのような影響を与えるか？
• RQ3 本手法が、滑らかでないコスト関数（例：衝突ペナルティ）を伴うタスクにおいて、勾配ベースの最適化手法（例：DDP）を上回るか？
• RQ4 GPUアクセラレートされたサンプリングによって、複雑で非線形なダイナミクスを伴うリアルタイムMPCがどの程度実現可能か？
• RQ5 不連続なコスト関数による衝突イベントの明示的モデル化が、混雑した環境における安全かつ高速なナビゲーションを実現するか？

主な発見

• MPPIコントローラーは、楕円形のトラックを走行する際、DDPに比べてよりタイトなコーナリングを実現し、進入・脱出時の速度も向上させた。非線形ダイナミクスの扱いが優れていることが示された。
• 4メートル間隔の障害物を有する森を飛行するクアッドコプターのナビゲーションにおいて、MPPIはDDPよりも短いナビゲーション時間を達成し、障害物に近い直線的で効率の良い経路を取った。
• 5メートル間隔の障害物を有する森においても、MPPIは正常にナビゲーションを完了したが、DDPは不連続な衝突ペナルティに対処できず、妥当な軌道を発見できなかった。
• コスト関数に衝突インジケータ項を組み込むことは、MPPIの性能にとって不可欠であったが、滑らかな近似に依存するDDPにとっては効果がなかった。
• 障害物密度の変化に対してもMPPIの性能は安定しており、タスク完了時間と経路効率の両面で一貫してDDPを上回った。
• 探索分散のチューニングが可能であることで、特に高速な操縦動作における高曲率領域の探索が促進され、収束が早くなった。