[論文レビュー] Augmenting Differentiable Simulators with Neural Networks to Close the Sim2Real Gap

Eric Heiden, David Millard+2 more|arXiv (Cornell University)|Jul 12, 2020

Model Reduction and Neural Networks参考文献 31被引用数 12

ひとこと要約

本論文は、任意の計算ポイントでニューラルネットワークを解析的物理エンジンに統合するハイブリッド微分可能シミュレータを提案する。これにより、システム同定のためのエンドツーエンド勾配最適化が可能となり、シミュレーションから実世界へのギャップが顕著に縮小される。解析的力学とデータ駆動型残差モデルを組み合わせ、局所最適解から脱出するためのランダムサーチを用いることで、シミュレートされたおよび実世界の二重振り子の動的挙動において、その有効性が実証された。

ABSTRACT

We present a differentiable simulation architecture for articulated rigid-body dynamics that enables the augmentation of analytical models with neural networks at any point of the computation. Through gradient-based optimization, identification of the simulation parameters and network weights is performed efficiently in preliminary experiments on a real-world dataset and in sim2sim transfer applications, while poor local optima are overcome through a random search approach.

研究の動機と目的

• 解析的物理シミュレーションにデータ駆動型モデルを統合することで、ロボティクス分野におけるシミュレーションから実世界へのギャップを解消すること。
• 非線形動的システムの同定において、局所最適解に陥りやすい問題をランダムサーチ戦略により克服すること。
• 統一されたフレームワーク内で、シミュレーションパラメータとニューラルネットワーク重みの両方を効率的に勾配ベースで最適化すること。
• ニューラルネットワークをシミュレーション計算グラフの任意の位置に挿入し、モデル化されていない動的挙動を表現できること。
• 実軌道データを用いた実世界のシステム同定とシミュレーション同士の転送の両方において、このアプローチを実証すること。

提案手法

• 任意の変数を、他のシミュレーション変数からの入力を受けるニューラルネットワークで拡張し、'ニューラルスカラー'を生成する。
• C++ベースの微分可能シミュレーションエンジンを用い、Ceresライブラリを介して自動勾配計算のための多次元双数を活用する。
• 方程式1を用いてシステム同定を非線形最小二乗問題として定式化し、L2正則化をニューラルネットワーク重みに適用しながら、状態軌道誤差を最小化する。
• 損失関数の高速な局所最適化のため、Levenberg-Marquardtアルゴリズムを適用する。
• 局所ソルバーをランダムに初期化されたパラメータから再起動することで、悪い局所最適解からの脱出を実現するため、並列バケーションホッピング（PBH）を採用する。
• モデル定義をシミュレーション実行から分離するため、別個のコードに 'ニューラルブループrint' を定義し、ネットワークアーキテクチャと初期重みを指定する。

実験結果

リサーチクエスチョン

• RQ1 微分可能物理エンジンの任意のポイントにニューラルネットワークを効果的に挿入し、モデル化されていない動的挙動を表現できるか？
• RQ2 エンドツーエンド微分可能最適化は、観測された軌道から解析的モデルパラメータとニューラルネットワーク重みの両方をどれほどうまく同定できるか？
• RQ3 並列バケーションホッピングのようなランダムサーチ戦略は、高次元かつ非凸なシステム同定問題において、悪い局所最適解から効果的に脱出できるか？
• RQ4 完全に解析的なシミュレータと比較して、ハイブリッドモデルはどの程度シミュレーションから実世界へのギャップを縮小できるか？
• RQ5 ニューラルネットワーク重みの正則化は、学習された動的挙動の物理的妥当性と一般化性能にどのように影響を与えるか？

主な発見

• PBHを用いたシステム同定後、ハイブリッドシミュレータは、床面に投げられた立方体のターゲット軌道をよく再現し、最適化されていないベースラインと比較してシミュレーションから実世界へのギャップが顕著に縮小された。
• 実世界の二重振り子データセットにおいて、慣性モーメント、質量、リンク長さのパラメータが正常に同定され、最小限のシミュレーションから実世界のギャップが達成された。
• 方程式1の損失関数により、バックプロパゲーションを介して解析的モデルパラメータとニューラルネットワーク重みの両方の効率的最適化が可能になった。
• ランダムサーチ（PBH）の使用により、非線形動的システム最適化で一般的な悪い局所最適解からの脱出が可能となり、収束がより良い解へと改善された。
• ハイブリッドアーキテクチャにより、摩擦などの特定の動的要因に対する細かく制御された拡張が可能であり、物理エンジンの解析的基盤を保持したままだった。
• 本アプローチは、シミュレーション同士の転送および実世界のシステム同定の両方で優れた性能を示し、実用的なロボティクスアプリケーションへの応用可能性を示した。