[論文レビュー] Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World

Josh Tobin, Rachel Fong+4 more|arXiv (Cornell University)|Mar 20, 2017

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 206

ひとこと要約

この論文は、ドメイン乱択を用いて完全にシミュレーションで訓練された物体検出器が実世界へ転移し、実世界の訓練データなしで混雑環境での把持を可能にすることを示している。

ABSTRACT

Bridging the 'reality gap' that separates simulated robotics from experiments on hardware could accelerate robotic research through improved data availability. This paper explores domain randomization, a simple technique for training models on simulated images that transfer to real images by randomizing rendering in the simulator. With enough variability in the simulator, the real world may appear to the model as just another variation. We focus on the task of object localization, which is a stepping stone to general robotic manipulation skills. We find that it is possible to train a real-world object detector that is accurate to $1.5$cm and robust to distractors and partial occlusions using only data from a simulator with non-realistic random textures. To demonstrate the capabilities of our detectors, we show they can be used to perform grasping in a cluttered environment. To our knowledge, this is the first successful transfer of a deep neural network trained only on simulated RGB images (without pre-training on real images) to the real world for the purpose of robotic control.

研究の動機と目的

• Reality gapを埋めるためにシミュレーション訓練でより速く、低コストなロボットデータ収集を動機づける。
• モデルを高度に多様な合成テクスチャとシーン構成に曝露させ、現実世界の視覚へ一般化させる方法としてドメイン乱択を提案する。
• randomized simulated RGB imagesだけで訓練された検出器が現実世界で高精度に物体を局在できることを示す。
• 学習された検出器を混雑した現実世界環境での把持に使用できることを示す。

提案手法

• 単一のモノラルフレームを3D物体座標へマッピングするCNNベースの物体検出器（修正版VGG-16）を訓練する。
• シミュレーション中に物体数、テクスチャ、照明、カメラ姿勢、ノイズなどを非現実的なテクスチャを用いて乱雑化する。
• MuJoCoのレンダラーを用いて数十万件のラベル付きサンプルを生成する。
• 事前学習重み（ImageNet）またはランダム初期化を用い、物体中心座標のL2損失でAdam最適化を行う。
• ディストラクタや遮蔽下で現実のウェブカメラ画像上の局在精度を評価し、Fetchロボットを用いた把持実験を行う。

実験結果

リサーチクエスチョン

• RQ1 ドメイン乱択は、現実世界のラベル付きデータなしで単一のRGB画像からの精密な物体局在をシミュレーションから現実へ転送できるか？
• RQ2 ドメイン乱択のどの要素（テクスチャ、カメラ姿勢、照明、邪魔要素）が現実世界での堅牢性にとって重要か？
• RQ3 現実画像での事前訓練は転送に必須か、それとも十分な合成データがあればランダム初期化で賄えるか？
• RQ4 シミュレーションで訓練された検出器は混雑したシーンでの現実のロボティック把持をサポートできるか？

主な発見

• ドメイン乱択を用いたシミュレーションのみで訓練された検出器は、実世界で平均約1.5 cmの精度で物体を局在する。
• 実世界のディストラクタや部分的遮蔽にも頑健な性能を維持する。
• 十分な合成データがあれば現実画像での事前訓練は必須ではなく、ランダム初期化でも事前訓練済みの性能に匹敵できるが、低データ領域では事前訓練が有利。
• Robotics実験では、Fetchロボットにおける混雑環境で38/40回の試行で成功した把持を実現した。
• このアプローチは、YCBデータセットの缶のような非均一テクスチャを持つ現実世界の物体にも一般化でき、ほとんどの試行で成功した把持を示した。