[論文レビュー] Rethinking Optimization with Differentiable Simulation from a Global Perspective

Rika Antonova, Jingyun Yang+2 more|arXiv (Cornell University)|Jun 28, 2022

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本論文は、微分可能シミュレーションにおける変形物体および流体の滑らかでない損失関数の問題を克服するため、ベイズ最適化と局所的勾配に基づく「ジャンプ」を組み合わせたハイブリッドグローバル最適化手法を提案する。この手法は、シミュレーションおよび実世界のロボット・クロスのインタラクションタスクにおいて、勾配ベースおよび勾配フリーのベースラインを上回る優れた性能を示しており、微分可能シミュレータでさえも、有効なグローバルサーチが不可欠であることを示している。

ABSTRACT

Differentiable simulation is a promising toolkit for fast gradient-based policy optimization and system identification. However, existing approaches to differentiable simulation have largely tackled scenarios where obtaining smooth gradients has been relatively easy, such as systems with mostly smooth dynamics. In this work, we study the challenges that differentiable simulation presents when it is not feasible to expect that a single descent reaches a global optimum, which is often a problem in contact-rich scenarios. We analyze the optimization landscapes of diverse scenarios that contain both rigid bodies and deformable objects. In dynamic environments with highly deformable objects and fluids, differentiable simulators produce rugged landscapes with nonetheless useful gradients in some parts of the space. We propose a method that combines Bayesian optimization with semi-local 'leaps' to obtain a global search method that can use gradients effectively, while also maintaining robust performance in regions with noisy gradients. We show that our approach outperforms several gradient-based and gradient-free baselines on an extensive set of experiments in simulation, and also validate the method using experiments with a real robot and deformables. Videos and supplementary materials are available at https://tinyurl.com/globdiff

研究の動機と目的

• 接触が豊富で変形性の高い系において、滑らかな勾配が保証されない場合の微分可能シミュレーションの限界を調査すること。
• 剛体、軟材、プラスチック、流体を含むシナリオにおける微分可能シミュレータの最適化の様相を分析すること。
• 局所的最適解やノイズの多い勾配に直面する微分可能シミュレーションの課題を、強固なグローバル最適化フレームワークの開発によって解決すること。
• 提案手法を、シミュレーション環境および実世界のロボット操作タスクにおける変形物体を用いた実験で検証すること。
• 複雑なシミュレーションベースの最適化において、勾配ベース手法のみでは不十分であり、グローバルサーチ戦略が不可欠であることを示すこと。

提案手法

• 本手法は、ベイズ最適化（BO）と、パrameter空間の有望な領域において局所的勾配に基づいて「ジャンプ」を実行する半局所的探索戦略を組み合わせる。
• BOでは、探索空間全体にわたり損失関数のグローバルで不確実性を考慮したスレーブモデルを維持するために、ガウス過程モデルを用いる。
• ベイズ最適化ループにおける探索と活用のバランスを図るため、α = 1.0の下位信頼区間（LCB）獲得関数を用いる。
• 実験において、近似バージョンより優れた性能を示すため、コスト関数のモデリングに正確なガウス過程を採用する。
• 微分可能シミュレータ（例：Warp、Nimble、DiffTaichi）から得られる勾配情報を統合し、BOの各クエリ後に局所的最適化をガイドする。
• 本フレームワークは、布、ネバネバ、流体、複数オブジェクトの操作タスクを含む多様なシミュレーション環境で評価される。

実験結果

リサーチクエスチョン

• RQ1 変形物体および流体のシミュレーションにおいて、微分可能シミュレータの最適化の様相はどの程度険しいのか？
• RQ2 接触が豊富または非常に変形性の高い状況では、微分可能シミュレータの勾配がどの程度有用に保たれるのか？
• RQ3 ハイブリッドグローバル最適化戦略は、勾配を効果的に活用しながら、局所的最適解やノイズの多い勾配領域を克服できるか？
• RQ4 本手法は、シミュレーションおよび実世界の設定において、純粋な勾配ベースまたは勾配フリーのベースラインと比較してどの程度優れているか？
• RQ5 微分可能シミュレーションは、滑らかでない環境におけるシステム同定やポリシー最適化にどのような影響を与えるか？

主な発見

• 変形物体および流体のシミュレーションにおける最適化の様相は極めて険しく、多数の局所的最適解や平坦領域が存在するが、勾配が利用可能であっても同様である。
• 微分可能シミュレータの勾配は、パrameter空間の一部の領域では有用であるが、接触が豊富または非常に変形性の高い状況では、しばしば信頼性がなくノイズが多くなる。
• 提案されたハイブリッド手法は、10D、30D、90Dのパrameter空間を含む広範なシミュレーション環境において、複数の勾配ベースおよび勾配フリーのベースラインを上回る性能を示した。
• 実世界の実験では、ロボットが布を操作する状況で、システム同定が成功し、シミュレートされた挙動と実世界の観測が一致した。
• ベイズ最適化における正確なガウス過程は、近似バージョンを上回る性能を示し、LCB獲得関数は安定的かつ効果的な探索を実現した。
• 粒子ベースのDiffTaichiおよび流体シミュレーションに基づくシミュレーション環境は、計算コストが著しく高く、1,000エピソードあたり約2時間の計算時間を要するなど、計算上のトレードオフを示している。