[論文レビュー] Traversing the Reality Gap via Simulator Tuning

Jack Collins, Ross Brown+2 more|arXiv (Cornell University)|Mar 3, 2020

Simulation Techniques and Applications参考文献 31被引用数 9

ひとこと要約

この論文では、現実とのギャップを低減するために、微分進化を用いてロボットシミュレータの物理エンジンパラメータを最適化する手法を提案している。デフォルト設定よりも著しく高いシミュレーション精度を達成しており、主な結果として、摩擦、タイムステップ、最大ジョイント速度が最も影響力が大きいパラメータであることが判明した。これらのパラメータを最適化することで、ロボットの行動をシミュレーションから現実世界に信頼性高く移行可能になる。

ABSTRACT

The large demand for simulated data has made the reality gap a problem on the forefront of robotics. We propose a method to traverse the gap by tuning available simulation parameters. Through the optimisation of physics engine parameters, we show that we are able to narrow the gap between simulated solutions and a real world dataset, and thus allow more ready transfer of leaned behaviours between the two. We subsequently gain understanding as to the importance of specific simulator parameters, which is of broad interest to the robotic machine learning community. We find that even optimised for different tasks that different physics engine perform better in certain scenarios and that friction and maximum actuator velocity are tightly bounded parameters that greatly impact the transference of simulated solutions.

研究の動機と目的

• シミュレーションの忠実度をパラメータ最適化によって向上させることで、ロボティクス分野における現実とのギャップを解消すること。
• シミュレートされたロボットの行動の現実性に最も顕著に影響を与える物理エンジンパラメータを特定すること。
• 学習済みポリシーをシミュレーションから現実世界のハードウェアに信頼性高く移行可能にするための支援。
• 研究者がシミュレーションキャリブレーションの際に優先すべきシミュレータパラメータを実用的かつ具体的に示すこと。

提案手法

• 微分進化（DE）を用いたシミュレーションパラメータの最適化。これは高次元かつ微分不能な問題に適した導出不能な進化的アルゴリズムである。
• フィットネス評価のための基準として、実世界のロボットアームタスクのモーションキャプチャデータセットを用いた。
• フィットネス関数を、シミュレートされたと実際の手首軌道間のユークリッド距離誤差と、最終的な物体配置誤差の和として定義した。
• 全タスクに共通するパラメータ最適化（共有最適化）と、各タスクごとのパラメータ最適化（個別最適化）を実施し、文脈依存性を評価した。
• タイムステップ、横方向摩擦、復元係数、質量、最大ジョイント速度など、多数の物理エンジンパラメータを最適化対象とした。
• 2つのシミュレータ（PyBullet と Bullet）と、5つの物理エンジン（Bullet 2.78, 2.83, ODE, DART, Newton）を用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 ロボットシミュレーションにおける現実とのギャップを低減するために、どの物理エンジンパラメータが最も顕著に影響を与えるか？
• RQ2 微分進化は、多数のシミュレータパラメータを効果的に最適化し、シミュレーションから現実への移行性を向上させることができるか？
• RQ3 共有パラメータ最適化とタスクごとの個別パラメータ最適化の両者を比較した場合、シミュレーションの正確性にどのような差が生じるか？
• RQ4 接触ダイナミクスや摩擦などの特定の物理現象は、高エネルギーまたは複雑なタスクにおいて、パラメータ最適化に対して特に感受性が強いとされるか？
• RQ5 最適なパラメータ値は、たとえば運動学的タスクと物体相互作用タスクといった、ロボットタスクの種別によって顕著に異なるか？

主な発見

• 共有パラメータ最適化により、11件の全実験で現実とのギャップが低減され、すべてのケースで一般的なシミュレータパラメータよりも優れた性能を示した。
• 全物理エンジンに共通して最も影響力が大きかったパラメータは、シミュレーションのタイムステップ、横方向摩擦、最大ジョイント速度であり、これらは実世界の測定値に非常に近い狭い最適範囲を示した。
• 高エネルギーの接触タスク（例：物体の転がりや衝撃）では、復元係数が統計的に有意なパラメータであった。最適値の標準偏差が顕著に現れた。
• ロボットアームのリンクの質量パラメータは、最適化において標準偏差が低く、特に単純なタスクではその重要性が顕著に現れた。
• 個別パラメータ最適化は、55件中たった3件でのみフィットネスが向上し、5件では結果が悪化した。これは、収束問題やノイズの増加により、追加の複雑さが性能を劣化させる傾向にあることを示唆している。
• 最適化に168時間の時間制限を設けた結果、55件の個別実行のうち14件で早期終了が発生した。これは、高次元パラメータ空間における計算上の課題を浮き彫りにした。