[論文レビュー] Differentiable Physics Simulations with Contacts: Do They Have Correct Gradients w.r.t. Position, Velocity and Control?

Yaofeng Desmond Zhong, Jiequn Han+1 more|arXiv (Cornell University)|Jul 8, 2022

Robot Manipulation and Learning被引用数 4

ひとこと要約

本稿は、接触力学を伴う微分可能物理シミュレータにおける勾配の正確性を評価し、剛体衝突の文脈で4つの定式化—LCP、凸最適化、柔軟モデル、位置ベースダイナミクス—を比較している。研究では、検討されたシミュレータのいずれの勾配も解析的導関数と一致しないことが判明したが、一部のシミュレータは依然として学習に成功しており、最適化タスクにおける実用性とは対照的に、勾配の正しさに著しいギャップが存在することが明らかになった。

ABSTRACT

In recent years, an increasing amount of work has focused on differentiable physics simulation and has produced a set of open source projects such as Tiny Differentiable Simulator, Nimble Physics, diffTaichi, Brax, Warp, Dojo and DiffCoSim. By making physics simulations end-to-end differentiable, we can perform gradient-based optimization and learning tasks. A majority of differentiable simulators consider collisions and contacts between objects, but they use different contact models for differentiability. In this paper, we overview four kinds of differentiable contact formulations - linear complementarity problems (LCP), convex optimization models, compliant models and position-based dynamics (PBD). We analyze and compare the gradients calculated by these models and show that the gradients are not always correct. We also demonstrate their ability to learn an optimal control strategy by comparing the learned strategies with the optimal strategy in an analytical form. The codebase to reproduce the experiment results is available at https://github.com/DesmondZhong/diff_sim_grads.

研究の動機と目的

• 微分可能物理シミュレータが、接触を伴う剛体ダイナミクスにおける位置、速度、制御入力に関して正しい勾配を計算しているかどうかを評価すること。
• LCP、凸最適化、柔軟モデル、PBDの4つの主要な微分可能接触定式化の性能を比較すること。
• 勾配が誤りであるにもかかわらず、一部のシミュレータが最適制御戦略の学習に成功する理由を調査すること。
• 将来の微分可能物理ツールの評価に用いるため、解析的勾配を含むベンチマークを提供すること。

提案手法

• 著者は、統一されたシミュレーションフレームワーク内に、LCP、凸最適化、柔軟モデル、PBDの4つの微分可能接触モデルを実装した。
• 摩擦なしの剛体衝突を伴う3つのベンチマークタスクについて、閉形式で解析的勾配を導出した。
• 各実装でシミュレーションを実行し、勾配差分指標を用いて解析的基準と比較して勾配を評価した。
• 勾配ベースの最適化タスクを実施し、既知の解析的最適制御プロファイルと結果を比較した。
• 柔軟モデルにおけるばね剛性が学習の安定性と収束性に与える影響を評価した。
• すべての実験を再現可能なコードを公開し、ベンチマークと将来の検証を可能にした。

実験結果

リサーチクエスチョン

• RQ1 微分可能物理シミュレータは、接触イベントにおける位置、速度、制御入力に関して正しい勾配を計算しているか？
• RQ2 LCP、凸最適化、柔軟モデル、PBDの勾配は、制御された環境下で解析的勾配とどのように比較されるか？
• RQ3 勾配が誤りであるにもかかわらず、一部のシミュレータが最適制御戦略の学習に成功する理由は何か？
• RQ4 接触モデルの選択は、勾配ベース最適化の安定性と収束性にどのように影響するか？
• RQ5 計算された勾配と真の勾配の乖離は、最適化パフォーマンスと関連づけて定量的に測定可能か？

主な発見

• テストされた微分可能シミュレータのいずれの勾配も、ベンチマークタスクにおいて解析的勾配と一致しなかった。これは、勾配計算に根本的な問題が存在することを示唆している。
• PBDに基づく2つの実装のみが、解析的基準に近い勾配を生成しており、PBDがより正確な勾配推定を提供する可能性があると示唆された。
• 勾配が誤りであるにもかかわらず、複数のシミュレータが最適制御戦略の学習に成功し、解析的最適値に近い損失に収束した。
• ばね剛性が低い柔軟モデルは、接触の柔らかさを反映するため、初期段階で高い損失を示したが、高い剛性では学習が不安定になり、収束しなかった。
• 時間衝突検出（TOI）処理がなく、または勾配計算が不十分なシミュレータは、意味のある制御シーケンスを学習できず、しばしばゼロの制御入力を出力した。
• 結果は、勾配が誤りであっても最適化が成功することがあり、現在の微分可能シミュレータが物理ベースの学習タスクにおいて信頼性に欠ける可能性を浮き彫りにした。