[論文レビュー] STORM: An Integrated Framework for Fast Joint-Space Model-Predictive Control for Reactive Manipulation

Mohak Bhardwaj, Balakumar Sundaralingam+5 more|arXiv (Cornell University)|Apr 27, 2021

Advanced Control Systems Optimization被引用数 23

ひとこと要約

STORM は、滑らかな軌道最適化、制約処理、学習された認識を統合することで、高次元ロボットにおけるリアルタイムで反応性のある操作を可能にする、GPUアクセラレーテッドで関節空間に依存するサンプリングベースのモデル予測制御フレームワークを提示する。Franka Panda ロボット上で 125Hz の制御周波数（8ms の遅延）を達成し、タスク空間の目的関数、関節制限、特異点回避、および生の点群からの学習された衝突検出をサポートする。

ABSTRACT

Sampling-based model-predictive control (MPC) is a promising tool for feedback control of robots with complex, non-smooth dynamics, and cost functions. However, the computationally demanding nature of sampling-based MPC algorithms has been a key bottleneck in their application to high-dimensional robotic manipulation problems in the real world. Previous methods have addressed this issue by running MPC in the task space while relying on a low-level operational space controller for joint control. However, by not using the joint space of the robot in the MPC formulation, existing methods cannot directly account for non-task space related constraints such as avoiding joint limits, singular configurations, and link collisions. In this paper, we develop a system for fast, joint space sampling-based MPC for manipulators that is efficiently parallelized using GPUs. Our approach can handle task and joint space constraints while taking less than 8ms~(125Hz) to compute the next control command. Further, our method can tightly integrate perception into the control problem by utilizing learned cost functions from raw sensor data. We validate our approach by deploying it on a Franka Panda robot for a variety of dynamic manipulation tasks. We study the effect of different cost formulations and MPC parameters on the synthesized behavior and provide key insights that pave the way for the application of sampling-based MPC for manipulators in a principled manner. We also provide highly optimized, open-source code to be used by the wider robot learning and control community. Videos of experiments can be found at: https://sites.google.com/view/manipulation-mpc

研究の動機と目的

• 高次元ロボットアームにおけるリアルタイムで反応性のある操作を、関節空間におけるサンプリングベースのモデル予測制御によって実現すること。
• 関節空間最適化におけるサンプリングベース MPC の計算ボトル neck を、GPU並列化を活用することで克服すること。
• タスク空間の目的関数、関節制限、特異点回避、および生のセンサデータからの学習された衝突コストを統合した一貫性のある制御フレームワークを構築すること。
• 低遅延で滑らかで制約を満たす制御軌道を生成し、実世界への適用に適すること。
• 広範な採用を促進するため、オープンソースで高パフォーマンスに最適化された実装を提供すること。

提案手法

• 完全にテンソル化された運動学的モデルにより、MPC 最適化中における制御軌道の効率的な GPU アクセラレートされたロールアウトが可能になる。
• 高次元の行動空間におけるサンプリング効率と収束性を向上させるために、低不均一性のサンプリング戦略が採用される。
• 高次ジャーブ（jerk）をペナルティ化し、運動の連続性を促進する補間とコスト関数設計により、滑らかな軌道生成が実現される。
• ニューラルネットワークベースのチェッカーを用いて、生の点群データから学習された自己衝突および環境衝突コストが導出され、MPC のコスト関数に直接統合される。
• MPC フレームワークは関節空間で動作するため、関節制限、特異点回避、リンク同士の衝突制約の直接的な適用が可能になる。
• 複雑で微分不可能なコスト関数の下で制御シーケンスを最適化するために、サンプルベースの勾配推定（例：MPPI スタイル）を用いた確率的ポリシーが使用される。

実験結果

リサーチクエスチョン

• RQ1 関節空間におけるサンプリングベース MPC は、高次元アームにおいてリアルタイム性能（≤8ms）を達成できるか。また、滑らかで反応性があり、制約を満たす軌道を維持できるか？
• RQ2 低不均一性のサンプリングは、操作タスクにおける関節空間 MPC の収束性を向上させ、サンプル数を削減するのにどの程度有効か？
• RQ3 生の点群からの学習された認識部（例：衝突検出）を、MPC ループにどの程度 tightly 結合できるか？その結果、耐障害性がどの程度向上するか？
• RQ4 異なるコスト関数の定式化（例：タスク、滑らかさ、制約ペナルティ）は、動的で複雑な操作タスクにおける制御行動とパフォーマンスにどのように影響を与えるか？
• RQ5 完全に GPU 並列化された関節空間 MPC フレームワークは、従来のタスク空間または CPU 基盤の実装に比べ、速度と制約処理の両面で優れているか？

主な発見

• STORM は、1枚の GPU を用いて Franka Panda ロボット上で 125Hz（1制御サイクルあたり 8ms）の制御周波数を達成し、従来の MPPI に基づく関節空間 MPC 実装と比べて 100 倍の高速化を実現した。
• 生の点群データからの学習された衝突コストの統合により、明示的な幾何的モデルが不要な状態で、環境および自己衝突回避が安定して実現された。
• 低不均一性のサンプリングと滑らかな補間は、軌道品質の向上と収束性の改善に寄与し、ジャーブの低減と運動の安定性の向上を実現した。
• フレームワークは、移動するターゲットの追跡や物体のバランスを保つといった複雑な操作タスクを、関節制限、特異点、衝突制約をすべて満たしながら効果的に処理できた。
• 実際の Franka Panda ロボットを用いた実験評価により、シンプルな動的モデルでも、動的環境において反応性があり、正確で滑らかな運動が実現されたことが示された。
• オープンソースの実装により、再現性とコミュニティによる拡張が可能となり、シミュレーションおよび実世界での両方で妥当なパフォーマンスが検証された。