[論文レビュー] TuneNet: One-Shot Residual Tuning for System Identification and Sim-to-Real Robot Task Transfer

Adam Allevato, Elaine Schaertl Short+2 more|arXiv (Cornell University)|Jul 25, 2019

Fault Detection and Control Systems被引用数 16

ひとこと要約

TuneNetは、1回の観測と最小限のシミュレーションを用いて、シミュレータと現実世界の間のパラメータ差を推定・補正するニューラルネットワークベースの手法である。1回の観測に基づく残差チューニングにより、繰り返し物理パラメータを精緻化することで、高速かつ正確なシステム同定とシミュレーションから現実世界へのロボットタスク転送を実現し、パラメータ推定誤差が存在する中でも動的マニピュレーションタスクで62%の成功を達成した。

ABSTRACT

As researchers teach robots to perform more and more complex tasks, the need for realistic simulation environments is growing. Existing techniques for closing the reality gap by approximating real-world physics often require extensive real world data and/or thousands of simulation samples. This paper presents TuneNet, a new machine learning-based method to directly tune the parameters of one model to match another using an *iterative residual tuning* technique. TuneNet estimates the parameter difference between two models using a single observation from the target and minimal simulation, allowing rapid, accurate and sample-efficient parameter estimation. The system can be trained via supervised learning over an auto-generated simulated dataset. We show that TuneNet can perform system identification, even when the true parameter values lie well outside the distribution seen during training, and demonstrate that simulators tuned with TuneNet outperform existing techniques for predicting rigid body motion. Finally, we show that our method can estimate real-world parameter values, allowing a robot to perform sim-to-real task transfer on a dynamic manipulation task unseen during training. Code and videos are available online at http://bit.ly/2lf1bAw.

研究の動機と目的

• 最小限の現実世界データ収集でロボティクスのシミュレーションにおけるリアリティギャップを埋めること。
• 現実世界の動的特性に合わせてシミュレータパラメータをチューニングすることで、迅速かつ正確なシステム同定を実現すること。
• 1つの現実世界観測のみを用いて、複雑な動的マニピュレーションタスクにおけるシミュレーションから現実世界へのポリシー転送を可能にすること。
• 数千回のシミュレーションロールアウトや広範な現実世界のファインチューニングを回避する、サンプル効率の良い手法を開発すること。
• 未学習の現実世界条件に一般化可能な、シミュレーションで訓練されたニューラルネットワークを用いたパラメータ推定手法を開発すること。

提案手法

• TuneNetは、1つの観測に基づいて、シミュレータと現実世界システムの間の残差パラメータ差を推定するニューラルネットワークを用いる。
• 推定された勾配の分布を用いて繰り返しチューニング更新を行い、最小限のシミュレーションサンプリングでシミュレータパラメータを精緻化する。
• 大規模な合成データセット（シミュレーションで生成されたペアドのシミュレータ観測と現実世界観測）を用いた教師あり学習によりネットワークを訓練する。
• 物理的に意味のある範囲（例：復元係数[0,1]）にパラメータ更新を制約することで、現実性を保証する。
• シミュレータの微分可能であることを活用し、完全な最適化ループを実行せずに正確なパラメータ補正を計算する。
• TuneNetは、チューニングされたシミュレータを用いてタスクを計画・実行する、下流のシミュレーションから現実世界へのポリシー学習と互換性がある。

実験結果

リサーチクエスチョン

• RQ1 1つの現実世界観測のみで、シミュレータパラメータの正確なシステム同定が可能か？
• RQ2 TuneNetは勾配フリー最適化手法よりもサンプル効率とチューニング速度で優れているか？
• RQ3 最先端のシミュレーションから現実世界への技術と比較して、TuneNetは剛体運動予測の正確性を向上させているか？
• RQ4 ロボットは1つの現実世界観測のみを用いて、未知の動的マニピュレーションタスクにおけるシミュレーションから現実世界へのタスク転送を実行できるか？
• RQ5 TuneNetは、トレーニング分布外のパラメータ分布に対してどれほど頑健か？

主な発見

• TuneNetは、1つの現実世界観測と最小限のシミュレーションを用いてチューニングされたシミュレータにより、現実世界のバウンスショットタスクで62%の成功率を達成した。
• 「テーブル外」の試行（ボールが視界から外れた場合）を除いたとすると、成功率は87%に上昇し、観測品質が性能に強く影響していることが示された。
• チューニングされた復元係数（COR）は0.789 ± 0.024と推定されたが、規格値の0.68–0.72よりも高いにもかかわらず、高いタスク成功を達成した。
• TuneNetは、サンプル効率とチューニング速度の面で、既存の勾配フリー最適化手法を上回った。
• 本手法は、トレーニング分布外のパラメータ値、特に未学習の値に対しても一般化を示した。
• TuneNetのトレーニングとチューニングプロセスは、1つのGPUで7分未満で完了し、計算効率の高さが裏付けられた。