[論文レビュー] Stein Variational Model Predictive Control

Alexander Lambert, Adam Fishman+3 more|arXiv (Cornell University)|Nov 15, 2020

Advanced Control Systems Optimization参考文献 37被引用数 18

ひとこと要約

本稿では、スティーブ・バナリゼーション勾配降下法（SVGD）を用いて制御パラメータ上の非パrametric後方分布として制御解を表現する、新しいMPCフレームワークであるStein Variational Model Predictive Control（SV-MPC）を提案する。MPCをベイジアン推論問題として定式化することにより、SV-MPCは複雑でマルチモーダルかつ非凸な最適制御問題を効果的に処理でき、ナビゲーションや操作といった挑戦的なロボットタスクにおいて、MPPI や CEM よりも優れた成功確率と低いコストを達成した。

ABSTRACT

Decision making under uncertainty is critical to real-world, autonomous systems. Model Predictive Control (MPC) methods have demonstrated favorable performance in practice, but remain limited when dealing with complex probability distributions. In this paper, we propose a generalization of MPC that represents a multitude of solutions as posterior distributions. By casting MPC as a Bayesian inference problem, we employ variational methods for posterior computation, naturally encoding the complexity and multi-modality of the decision making problem. We present a Stein variational gradient descent method to estimate the posterior directly over control parameters, given a cost function and observed state trajectories. We show that this framework leads to successful planning in challenging, non-convex optimal control problems.

研究の動機と目的

• 従来のMPCが制御入力の複雑で非ガウス的かつマルチモーダルな分布を扱う能力に限界を示す問題に対処すること。
• 障害物、複数の目的、非凸制約を伴う非凸最適制御問題において、効果的な計画を可能にすること。
• 非定常な後方分布にリアルタイムで適応可能なスケーラブルでオンラインMPC手法を開発すること。
• 変分推論とSVGDを活用して、制御パラメータ上の後方分布の効率的かつ非パラメトリックな近似を実現すること。
• 軌道最適化に一般化可能で、既存のMPCおよびSOC手法と滑らかに統合可能な統一フレームワークを提供すること。

提案手法

• 制御パラメータ上の後方分布を定義するという点で、ジョイント状態-アクション分布ではなく制御パラメータ上で定義されるベイジアン推論問題としてMPCを定式化する。
• 真の後方分布の近似に相対エントロピー最小化を用い、制御シーケンス上の変分推論を可能にする。
• 制御入力上の後方分布を表すパーティクル集合を反復的に更新するために、スティーブ・バナリゼーション勾配降下法（SVGD）を採用する。
• 下三角行列変換を介したマルコフ的依存構造を持つガウス過程に類似した構造を用いて、制御シーケンスに事前分布を定義する。
• 障害物回避（バイモーダルなガウス・ミックスチャートを介して）とゴール到達ペナルティを含むコスト関数を定義する。
• 各時刻でウォームスタートと反復最適化を適用するオンラインで再発行ホライズンのアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 MPPI や CEM と比較して、成功確率とコスト最小化の観点で、SV-MPC は非凸な最適制御問題において、非パラメトリックな変分推論手法（SVGD）を用いてマルチモーダルな制御ポリシーを効果的に表現できるか？
• RQ2 非定常的かつ急変する後方分布がリアルタイムのロボット制御に一般的に見られる状況において、提案フレームワークはその対応が可能か？
• RQ3 パーティクル数と最適化反復回数が、SV-MPCコントローラーの性能と収束性に与える影響は何か？
• RQ4 制御シーケンスの事前分布の選択が、軌道の滑らかさと計画性能に与える影響は何か？

主な発見

• 4×4の障害物グリッドを有する平面ナビゲーションタスクにおいて、SV-MPCは32個のパーティクルを用いて96％の成功確率と平均コスト20.7×10³を達成し、MPPI（64％成功、より高いコスト）やCEMを上回った。
• 12個のパーティクルを用いた場合、SV-MPCは96％の成功確率を維持し、コストはわずかに21.8×10³に増加した。これはパーティクル数の削減に対しても頑健であることを示している。
• 6個のパーティクルを用いたSV-MPCは、成功確率が84％に低下したが、パーティクル数が少ない状況でもMPPI や CEM と同等の性能を示した。
• 32個のパーティクルを用いたSV-MPCは、MPPI（26.5×10³）やCEM（25.4×10³）よりも低い平均コスト（20.7×10³）を達成し、障害物を伴う状況下でのコスト最小化が優れていることを示した。
• Half-cheetahおよび操作タスクにおいて非凸性を効果的に処理でき、高次元制御問題へのスケーラビリティを示した。
• 滑らかでマルコフ的構造の事前分布の使用により、状態軌道が滑らかになった。これは、先行研究におけるGP事前分布と類似した結果を示している。