[論文レビュー] Predictive Sampling: Real-time Behaviour Synthesis with MuJoCo

Taylor A. Howell, Nimrod Gileadi+4 more|arXiv (Cornell University)|Dec 1, 2022

Embedded Systems Design Techniques被引用数 10

ひとこと要約

本論文は、MuJoCo物理シミュレーションを用いたリアルタイムモデルベース予測制御を実現するオープンソースでインタラクティブなフレームワークであるMJPCを紹介する。シューティングベースの軌道最適化手法を実装しており、特に予測サンプリングと呼ばれる新規で単純な方法が予想を上回る性能を示している。これにより、低遅延かつ高インタラクティビティを実現した、迅速でアクセスしやすく直感的なロボティクスタスクの作成とリアルタイムの行動合成が可能になる。

ABSTRACT

We introduce MuJoCo MPC (MJPC), an open-source, interactive application and software framework for real-time predictive control, based on MuJoCo physics. MJPC allows the user to easily author and solve complex robotics tasks, and currently supports three shooting-based planners: derivative-based iLQG and Gradient Descent, and a simple derivative-free method we call Predictive Sampling. Predictive Sampling was designed as an elementary baseline, mostly for its pedagogical value, but turned out to be surprisingly competitive with the more established algorithms. This work does not present algorithmic advances, and instead, prioritises performant algorithms, simple code, and accessibility of model-based methods via intuitive and interactive software. MJPC is available at: github.com/deepmind/mujoco_mpc, a video summary can be viewed at: dpmd.ai/mjpc.

研究の動機と目的

• モデルベース制御の分野への参入障壁を下げるために、アクセスしやすくインタラクティブなフレームワークを提供すること。
• タスクチューニングやパrameter調整中にリアルタイムフィードバックを可能にすることで、研究のスピードを加速すること。
• 非同期シミュレーションを活用して、古い低性能なハードウェアでも効率的な計算が行えるようにすることで、予測制御ツールへのアクセスを民主化すること。
• 迅速な複雑なロボット行動のプロトタイピングを可能にする、ユーザーフレンドリーなGUI駆動の環境を提供すること。
• 将来の機械学習モデルや階層的制御アーキテクチャの統合の基盤を提供すること。

提案手法

• MJPCはシューティングベースのアプローチを採用し、物理的実現可能性を確保するために動的シミュレーションを時間軸に沿って前方に実行しながら、制御入力を最適化する。
• 3種類の軌道最適化手法を実装している：2次微分に基づくiLQG（第二階層）、1次微分に基づく勾配降下（第一階層）、および新規の0次微分手法である予測サンプリング。
• 予測サンプリングは制御シーケンスを確率的サンプリングし、そのコストを評価して最も優れたシーケンスを選択する。勾配やヘッセ行列の計算を一切不要としない。
• シミュレーションと計画の分離により、シミュレーションがリアルタイムより遅く実行されても、計画部が速く動作するため、リアルタイムの応答性が確保される。
• GUIを介してユーザーはタスクをインタラクティブに定義し、パrameterを調整し、リアルタイムで行動を可視化できる。即時のフィードバックが得られる。
• 他のフレームワークへのタスクの再実装が容易であり、学習ベースの手法向けにエキスパートデモデータの生成も可能である。

実験結果

リサーチクエスチョン

• RQ1 予測サンプリングのような単純で微分フリーのサンプリングベース手法が、リアルタイムの予測制御において競争力のある性能を発揮できるか？
• RQ2 低遅延フィードバックを備えたインタラクティブでリアルタイムのシミュレーションは、ロボティクス研究の効率性と有効性をどのように向上させるか？
• RQ3 MJPCのような軽量でアクセスしやすいフレームワークは、複雑なロボット行動の開発とチューニングをどれほど加速できるか？
• RQ4 最適化や制御理論に深い専門知識を持たない研究者にとって、モデルベース制御はどのようにしてよりアクセス可能で使いやすくなるか？
• RQ5 インタラクティブでGUI駆動のツールは、予測制御や階層的制御アーキテクチャ分野の研究進展に果たす役割は何か？

主な発見

• 予測サンプリングは、0次微分で勾配フリーな手法であるにもかかわらず、予想をはるかに上回る性能を示し、iLQG や勾配降下といった既存の微分ベースのプランナーよりも競争力があることが判明した。
• MJPCの非同期設計により、プランナがシミュレーションよりも速く動作するため、古いハードウェアでもリアルタイムの行動合成が可能になった。
• インタラクティブなGUIにより、パrameterチューニング時に即時のフィードバックが得られ、認知的パフォーマンスと研究のスピードが著しく向上した。
• MJPCは複雑なタスクの作成を成功裏にサポートでき、将来的な学習ベースの手法向けにエキスパートデモデータの生成にも適している。
• フレームワークはモーショントラッキングタスクに適しており、時間依存のタスクへは最小限の変更で拡張可能である。
• 本システムは、将来の機械学習ダイナミクスモデル、価値関数、および階層的制御アーキテクチャの統合の基盤として十分な妥当性を持つ。