[論文レビュー] Dojo: A Differentiable Physics Engine for Robotics

Taylor A. Howell, Simon Le Cleac’h+6 more|arXiv (Cornell University)|Mar 2, 2022

Model Reduction and Neural Networks被引用数 10

ひとこと要約

Dojo は、バリエーショナル積分法とカスタムのプライマル・デュアル内点法を用いて、非線形補完問題（NCP）を解くことで、硬い接触と摩擦を伴う剛体動力学の安定的かつ高精度なシミュレーションを可能にする微分可能物理学エンジンである。接触イベントを通過する際の滑らかで解析的な勾配を、暗黙の微分法により得ることで、最小限の貫通と低サンプリングレート（例：65 Hz）におけるクリーピングアーチファクトを伴わず、高精度なシミュレーションと効率的な最適化を実現し、ロボティクス分野の計画、ポリシー学習、システム同定に適している。

ABSTRACT

We present Dojo, a differentiable physics engine for robotics that prioritizes stable simulation, accurate contact physics, and differentiability with respect to states, actions, and system parameters. Dojo models hard contact and friction with a nonlinear complementarity problem with second-order cone constraints. We introduce a custom primal-dual interior-point method to solve the second order cone program for stable forward simulation over a broad range of sample rates. We obtain smooth gradient approximations with this solver through the implicit function theorem, giving gradients that are useful for downstream trajectory optimization, policy optimization, and system identification applications. Specifically, we propose to use the central path parameter threshold in the interior point solver as a user-tunable design parameter. A high value gives a smooth approximation to contact dynamics with smooth gradients for optimization and learning, while a low value gives precise simulation rollouts with hard contact. We demonstrate Dojo's differentiability in trajectory optimization, policy learning, and system identification examples. We also benchmark Dojo against MuJoCo, PyBullet, Drake, and Brax on a variety of robot models, and study the stability and simulation quality over a range of sample frequencies and accuracy tolerances. Finally, we evaluate the sim-to-real gap in hardware experiments with a Ufactory xArm 6 robot. Dojo is an open source project implemented in Julia with Python bindings, with code available at https://github.com/dojo-sim/Dojo.jl.

研究の動機と目的

• 既存の物理学エンジンが抱えるロボティクス分野における限界、すなわち低サンプリングレートでの不安定性、貫通、クリーピング、接触を通過する際の滑らかでない勾配を解消すること。
• 物理学的および最適化の観点から設計されたアプローチにより、硬い接触と摩擦ダイナミクスの安定的かつ高精度なシミュレーションを可能にすること。
• 接触イベントを通過する際の滑らかで解析的な勾配を提供することで、ロボティクスアプリケーションにおける効率的な勾配ベース最適化を可能にすること。
• シミュレーションアーチファクト（貫通やクリーピング）を最小限に抑えつつ、計算上のロバストネスを維持することで、シミュレーションから実世界への移行を向上させること。
• 高精度なシミュレーションと最適化を可能にする微分可能物理学エンジンを構築し、システム同定、軌道最適化、ポリシー学習を高分解能で実現すること。

提案手法

• エネルギー保存則と運動量保存則を保証するためのバリエーショナル積分法を用い、低時間ステップ（例：65 Hz）でも安定性を確保し、高周波数のサンプリングを回避する。
• 摩擦に二次錐を用いた非線形補完問題（NCP）として接触ダイナミクスをモデル化することで、高精度な硬い接触および衝撃シミュレーションを実現する。
• カスタムのプライマル・デュアル内点法を採用し、多様なシステムにわたり最小限のハイパーパrameterチューニングで、NCPを信頼性高くかつロバストに解く。
• 内点法ソルバに対して暗黙の微分法を適用し、シミュレーション状態の状態、行動、システムパラメータに関する滑らかで解析的な勾配を計算する。
• 最大座標表現をサポートし、錐およびクaternion制約をネイティブに処理することで、ロボットシステムのモデリング精度を向上させる。
• NCPの暗黙的解にチェーンルールを適用することで、有限差分近似やサブ勾配を避けることで、効率的な勾配計算を実現する。

実験結果

リサーチクエスチョン

• RQ1 微分可能物理学エンジンは、65 Hzなどの低サンプリングレートでも物理的正確性を保ちつつ、貫通を回避し、安定したシミュレーションを達成できるか？
• RQ2 二次錐摩擦モデルを用いた非線形補完問題（NCP）は、ソフト接触やLCPベースのソルバーよりもより高精度な接触ダイナミクスを提供できるか？
• RQ3 プライマル・デュアル内点法の暗黙的微分により、接触イベントを通過する際の滑らかで解析的な勾配が得られ、ロボティクス分野における最適化が向上するか？
• RQ4 既存のエンジンと比較して、Dojoはシステム同定およびポリシー学習におけるシミュレーションから実世界への移行をどの程度改善するか？
• RQ5 Dojoは、歩行や操作といった複雑なロボットタスクの高精度なシミュレーションと最適化を、最小限のアーチファクトで実現できるか？

主な発見

• Dojo は、アトラスのドロップ実験において65 Hzでも貫通ゼロで安定したシミュレーションを達成したが、MuJoCo では床への数センチメートルの貫通と不安定性を示した。
• 実世界の軌道データからボックスの幾何形状と摩擦錐パラメータを学習するシステム同定タスクで、誤差は5%未満に抑えられた。
• Dojo で学習されたシステムパラメータは真値に近く、シミュレーテッド軌道は実際の軌道と高い忠実度で一致した（図10で可視化）。
• Dojo の勾配は滑らかで解析的であり、サブ勾配や有限差分近似とは異なり、計画やポリシー学習における効率的で信頼性の高い最適化を可能にした。
• 内点法の数値的安定性のおかげで、多様なシステムにわたりハイパーパrameterのチューニングなしにロバストな性能を発揮した。
• Dojo はマシン精度の制約を用いて硬い接触を高精度にシミュレートでき、スライディング運動におけるクリーピングアーチファクトを排除した。