[論文レビュー] Interactive Differentiable Simulation

Eric Heiden, David Millard+2 more|arXiv (Cornell University)|May 26, 2019

Reinforcement Learning in Robotics参考文献 33被引用数 34

ひとこと要約

IDSは、視覚からの物理パラメータ学習、タスクベース設計、およびモデルフリー手法より改善されたサンプル効率を持つ適応MPCを可能にする微分可能な物理エンジンです。

ABSTRACT

Intelligent agents need a physical understanding of the world to predict the impact of their actions in the future. While learning-based models of the environment dynamics have contributed to significant improvements in sample efficiency compared to model-free reinforcement learning algorithms, they typically fail to generalize to system states beyond the training data, while often grounding their predictions on non-interpretable latent variables. We introduce Interactive Differentiable Simulation (IDS), a differentiable physics engine, that allows for efficient, accurate inference of physical properties of rigid-body systems. Integrated into deep learning architectures, our model is able to accomplish system identification using visual input, leading to an interpretable model of the world whose parameters have physical meaning. We present experiments showing automatic task-based robot design and parameter estimation for nonlinear dynamical systems by automatically calculating gradients in IDS. When integrated into an adaptive model-predictive control algorithm, our approach exhibits orders of magnitude improvements in sample efficiency over model-free reinforcement learning algorithms on challenging nonlinear control domains.

研究の動機と目的

• Interactive Differentiable Simulation (IDS) を紹介する、解釈可能な物理パラメータを持つ剛体ダイナミクスのための微分可能な物理エンジン。
• IDSをニューラルアーキテクチャと最適化パイプラインに組み込むことで、エンドツーエンドの学習と制御を実現する。
• 物理ベースのボトルネックを用いて、視覚入力からのシステム同定とパラメータ推定を実証する。
• 自動ロボット設計と適応モデル予測制御（MPC）への応用を紹介する。

提案手法

• ニュートン-オイラー方程式と前方ダイナミクスを用いて剛体ダイナミクスをモデル化し、Articulated Body Algorithm (ABA)を用いてO(n)の加速計算を行う。
• 速度と位置を更新するために半陰的オイラー法を実装し、力の伝播にはRecursive Newton-Eulerを用いる。
• 物理エンジンを逆モード自動微分（Stan Math）を用いた微分可能レイヤとして表現し、入力・力・パラメータに関する勾配を取得する。
• 視覚ベースのエンコーダ/デコーダの間にIDSレイヤを組み込み、将来の状態を予測し、エンドツーエンドの学習を通じて物理パラメータを学習する。
• IDSパラメータ theta_phy（例：リンク長）をニューラルエンコーダ/デコーダとともに学習するトリプレット損失を用いたオートエンコーダーボトルネック構成を使用する。
• DHパラメータと順運動学を微分可能にして、勾配ベースの最適化でエンドエフェクタの追従誤差を最小化することで、IDSを自動ロボット設計に適用する。
• 実際の遷移にIDSダイナミクスを適合させ、短期区間の軌道最適化にiLQRを用いることで、適応型モデル予測制御（AMPC）を適用する。

実験結果

リサーチクエスチョン

• RQ1 IDSは高次元の視覚入力から物理的に意味のあるパラメータを正確に推定できるか。
• RQ2 微分可能な物理レイヤを組み込むと、予測のホライズンとトレーニングデータを超えた一般化が向上するか。
• RQ3 IDSベースのAMPCは、非線形制御タスクにおいてモデルフリー強化学習よりサンプル効率を改善できるか。
• RQ4 微分可能なDH/運動学を介して、IDSが自動ロボットアーム設計をどの程度支援できるか。
• RQ5 適応制御ループで微分可能エンジンが現実世界のダイナミクスにどれだけ適応できるか。

主な発見

• IDSは物理的に意味のあるパラメータを学習できる（例：振り子のリンク長が真値に収束する）。
• 物理ボトルネックを備えたIDSベースのオートエンコーダは、直感物理のベースラインと予測性能が同等で、長期的な予測では完全に学習されたモデルを上回る。
• 評価環境における単一・二重カートポールタスクで、IDSを用いた適応型MPCはSACおよびDDPGと比較して優れたサンプル効率を達成。
• IDSを介した勾配ベースの最適化により、アーム設計のDHパラメータ最適化をタスク空間軌道に密接に追従させることができる。
• 微分可能ダイナミクスを用いたAMPCは、数エピソード内に正確なシステムモデルへ急速に収束する（例：カートポール実験での収束が示されている）。
• IDSは解釈可能なパラメータと保存則の整合性を提供し、古典的な制御・推定手法との統合を可能にする。