[論文レビュー] Transferring Vision-based Robotic Reaching Skills from Simulation to Real World

Fangyi Zhang, Jürgen Leitner+2 more|arXiv (Cornell University)|Oct 21, 2016

Robotics and Sensor-Based Localization被引用数 3

ひとこと要約

本論文は、視覚ベースのロボット到達ポリシーをシミュレーションから現実世界に転送するためのモジュラーな深層強化学習フレームワークを提案する。視覚制御ボトルネックを導入することで、独立した事前学習とエンド・トゥ・エンドのファインチューニングを経て、平均1.6ピクセルの誤差を達成した。これは、直接転送する手法（17.5ピクセル）を著しく上回り、大規模な現実世界データセットを必要としない、効率的でデータ効率の良いポリシー転送を可能にする。

ABSTRACT

While deep learning has had significant successes in computer vision thanks to the abundance of visual data, collecting sufficiently large real-world datasets for robot learning can be costly. To increase the practicality of these techniques on real robots, we propose a modular deep reinforcement learning method capable of transferring models trained in simulation to a real-world robotic task. We introduce a bottleneck between perception and control, enabling the networks to be trained independently, but then merged and fine-tuned in an end-to-end manner to further improve hand-eye coordination. On a canonical, planar visually-guided robot reaching task a fine-tuned accuracy of 1.6 pixels is achieved, a significant improvement over naive transfer (17.5 pixels), showing the potential for more complicated and broader applications. Our method provides a technique for more efficient learning and transfer of visuo-motor policies for real robotic systems without relying entirely on large real-world robot datasets.

研究の動機と目的

• 視覚ベースのポリシー学習のための現実世界ロボットデータセット収集の高コストを低減すること。
• シミュレーションから現実世界への視覚ベースのロボットポリシーの効果的転送を可能にすること。
• モジュラーなトレーニングとエンド・トゥ・エンドのファインチューニングを通じて、視覚運動制御における手-eye協調を向上させること。
• 高い精度を維持しつつ、大規模な現実世界データに依存しないこと。

提案手法

• 認識と制御ネットワークの間にボトルネック層を導入し、トレーニングの分離とモジュラー化を実現すること。
• シミュレーションデータを用いて認識ネットワークと制御ネットワークを独立してトレーニングすること。
• 事前学習済みのネットワークを統合し、現実世界データ上でエンド・トゥ・エンドで全システムをファインチューニングすること。
• シミュレーション環境で深層強化学習を用いて視覚運動ポリシーを最適化すること。
• ドメインランダマイゼーションとデータ拡張をシミュレーションで適用し、現実世界のドメインシフトに対する耐性を高めること。
• 視覚観測空間におけるターゲットへのピクセル単位の距離に基づく報酬関数を用いてポリシーを最適化すること。

実験結果

リサーチクエスチョン

• RQ1 認識-制御ボトルネックを有するモジュラーなトレーニングアプローチは、シミュレーションから現実世界へのロボット到達タスクにおける転送性能を向上させることができるか？
• RQ2 モジュラー事前学習後にエンド・トゥ・エンドのファインチューニングを施した場合、ナイーブな転送と比較して現実世界での精度はどのように向上するか？
• RQ3 大規模な現実世界データセットに依存せずに、現実世界での性能をどの程度向上させることができるか？
• RQ4 ボトルネックアーキテクチャは、視覚運動ポリシーの一般化能力と手-eye協調性を向上させるか？

主な発見

• ファインチューニング後、本手法は現実世界のロボット到達タスクで平均1.6ピクセルの誤差を達成した。これは、ナイーブな転送を著しく上回る。
• シミュレーションから現実世界への直接的ポリシー転送では平均17.5ピクセルの誤差が生じ、直接転送の限界を示している。
• モジュラーなトレーニングとエンド・トゥ・エンドのファインチューニングにより、手-eye協調性とドメインシフトへのロバストネスが向上した。
• 本手法は、大規模な現実世界データセットを必要とせず、高精度なポリシー転送を可能にした。
• ボトルネックアーキテクチャにより、認識と制御のトレーニングの有効な分離が可能であり、統合後のエンド・トゥ・エンド性能を維持した。
• 本手法は、現実のロボットシステムにおける複雑な視覚運動制御タスクへの広範な応用の可能性を示している。