[論文レビュー] gradSim: Differentiable simulation for system identification and visuomotor control

J. Krishna Murthy, Miles Macklin+12 more|arXiv (Cornell University)|Apr 6, 2021

Advanced Vision and Imaging参考文献 109被引用数 43

ひとこと要約

∇Sim は、動画ピクセルから微分可能な物理とレンダリングを介して逆伝搬する微分可能なシミュレータで、物理特性を推定し、3D監視なしで視覚-運動コントロールを可能にします。

ABSTRACT

We consider the problem of estimating an object's physical properties such as mass, friction, and elasticity directly from video sequences. Such a system identification problem is fundamentally ill-posed due to the loss of information during image formation. Current solutions require precise 3D labels which are labor-intensive to gather, and infeasible to create for many systems such as deformable solids or cloth. We present gradSim, a framework that overcomes the dependence on 3D supervision by leveraging differentiable multiphysics simulation and differentiable rendering to jointly model the evolution of scene dynamics and image formation. This novel combination enables backpropagation from pixels in a video sequence through to the underlying physical attributes that generated them. Moreover, our unified computation graph -- spanning from the dynamics and through the rendering process -- enables learning in challenging visuomotor control tasks, without relying on state-based (3D) supervision, while obtaining performance competitive to or better than techniques that rely on precise 3D labels.

研究の動機と目的

• 3D 監督なしで動画から物体の物理的特性を推定するという ill-posed な問題を動機づけ、解決する。
• 微分可能な多物理シミュレーションと微分可能なレンダリングを結合して、エンドツーエンドで学習可能なパイプラインを形成する。
• 画像空間の監督から摩擦、弾性、変形材料パラメータ、及び視覚-運動コントロールを回復できるようにする。
• 剛体、変形可能、布モデルに対して 3D ラベルを必要とする手法と競争力のある性能を実証する。

提案手法

• 微分可能な物理とレンダリングの要素を用いて、シミュレーション状態とパラメータをレンダリング画像へ写像する統合シミュレーションパイプラインをモデル化する。
• ステップベースのダイナミクスからの暗黙の関係と、微分可能なラスター化アプローチを用いて、ダイナミクスとレンダリングの両方を逆伝搬する。
• 状態 s=(q,u) およびパラメータ θ を持つ微分可能な物理エンジンを採用し、差異化可能な画像出力を得るために SoftRas または DIB-R でレンダリングする。
• 画像空間で定義された損失関数でエンドツーエンドに訓練し、ピクセルから物理属性への逆伝搬を可能にする。
• 剛体、変形可能固体、薄層布のためのメッシュと四面体FEMをサポートし、効率のためにレンダリングレートを調整可能とする。

実験結果

リサーチクエスチョン

• RQ1 微分可能シミュレータを通じて逆伝搬することにより、動画から物理パラメータを高精度に識別できるか。
• RQ2 微分可能な物理ベースの推定における画像空間（2D）監督と状態空間（3D）監督との性能ギャップはどれくらいか。
• RQ3 統合シミュレータを通じて得られる勾配からの学習信号は、難しい視覚運動コントロールタスクに有効か。
• RQ4 ダイナミクスとレンダリングのモデリング選択は、パラメータ識別とコントロール性能にどう影響するか。

主な発見

• ∇Sim は動画から質量、摩擦、弾性を高精度で回復でき、3D監督付き手法と競合する。
• 変形可能および布モデルでは、粒子ごとの質量とLaméパラメータを動画から推定でき、ベースラインと比較して相対誤差が有利である。
• ∇Sim 下の損失地形は滑らかで、勾配ベースの手法による効果的な最適化を可能にする。非微分可能なベースラインとは異なる。
• 視覚-運動コントロールタスクでは、∇Sim勾配に導かれたネットワークは、画像ベースの監督のみで目標指向の制御を達成し、時には3D監督アプローチに匹敵する。
• 不完全なダイナミクスモデリングは、レンダリングの不完全さよりもパラメータ回復を劣化させ、陰影/テクスチャの手がかりが収束を加速させる。