[論文レビュー] Towards Adapting Deep Visuomotor Representations from Simulated to Real Environments.

Eric Tzeng, Coline Devin+6 more|arXiv (Cornell University)|Nov 23, 2015

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 61

ひとこと要約

本論文は、分布レベルとペairワイズ画像アライメントを組み合わせた弱教師ありドメイン適応手法を提案し、シミュレーション環境から現実世界の環境への視覚的運動方策の転送を可能にした。手作業による高コストなアノテーションを必要とせず、ドメインシフトを顕著に低減する。PR2ロボットの操作タスクで評価した結果、先行手法に比べて優れた現実世界での性能を達成した。

ABSTRACT

Real-world robotics problems often occur in domains that differ significantly from the robot's prior training environment. For many robotic control tasks, real world experience is expensive to obtain, but data is easy to collect in either an instrumented environment or in simulation. We propose a novel domain adaptation approach for robot perception that adapts visual representations learned on a large easy-to-obtain source dataset (e.g. synthetic images) to a target real-world domain, without requiring expensive manual data annotation of real world data before policy search. Supervised domain adaptation methods minimize cross-domain differences using pairs of aligned images that contain the same object or scene in both the source and target domains, thus learning a domain-invariant representation. However, they require manual alignment of such image pairs. Fully unsupervised adaptation methods rely on minimizing the discrepancy between the feature distributions across domains. We propose a novel, more powerful combination of both distribution and pairwise image alignment, and remove the requirement for expensive annotation by using weakly aligned pairs of images in the source and target domains. Focusing on adapting from simulation to real world data using a PR2 robot, we evaluate our approach on a manipulation task and show that by using weakly paired images, our method compensates for domain shift more effectively than previous techniques, enabling better robot performance in the real world.

研究の動機と目的

• シミュレーションから現実世界のロボット工学環境への転送において、視覚的運動方策学習におけるドメインシフトの課題に対処すること。
• 方策学習中の現実世界データの高コストな手作業アノテーションへの依存を低減すること。
• 自己教師ありドメイン差分最小化と弱教師付き画像ペアの統合により、適応性能を向上させること。
• 正確なピクセルレベルのアライメントを必要とせず、弱教師付きの合成画像と現実画像ペアのみを用いて、効果的な方策転送を可能にすること。
• シミュレーション事前学習と弱教師付き適応を用いて、操作タスクにおける現実世界でのロボット性能の向上を実証すること。

提案手法

• 本手法は、シミュレーテッド画像と現実画像の間の特徴分布におけるドメインシフトを最小化するため、敵対的ドメイン適応を用いる。
• 正確なピixeLレベルの対応関係を必要としない、同じシーンや物体の画像ペア（弱教師付き画像ペア）を組み込む。
• 対照的学習のコンponentが、弱教師付き画像ペア間の特徴アライメントを強化し、ドメイン間での表現の一貫性を向上させる。
• ドメイン不変特徴学習と弱教師付き画像ペアの監督を同時に最適化することで、分布レベルとインスタンスレベルのアライメントのバランスを取る。
• ビジョンエンコーダーを合成データ上で事前学習し、現実世界の画像を用いて提案された弱教師付き適応目的でファインチューニングする。
• 適応された視覚表現を用いて、最小限のアノテーションで、現実世界データ上でエンドツーエンドに視覚的運動方策を学習する。

実験結果

リサーチクエスチョン

• RQ1 シミュレーションと現実世界ドメインからの弱教師付き画像ペアは、視覚的運動方策学習におけるドメイン適応を改善できるか？
• RQ2 分布レベルとペアワイズ画像アライメントを組み合わせることで、純粋に自己教師ありまたは完全に教師ありの手法に比べて優れた性能を達成できるか？
• RQ3 現実世界の画像ペアに対する手作業アノテーションなしに、ドメインシフトをどの程度低減できるか？
• RQ4 提案手法は、既存のシミュレーションから現実への転送技術に比べ、より優れた現実世界での方策性能を実現できるか？
• RQ5 本手法は、ドメイン間で物体の外観やシーンレイアウトの変化に対してどの程度頑健か？

主な発見

• 提案手法は、PR2ロボットのタスクにおいて、ベースラインのドメイン適応手法よりも顕著に優れた現実世界での操作性能を達成した。
• 弱教師付き画像ペアを活用することで、特徴分布のアライメントのみに依存する純粋に自己教師ありの手法よりも、ドメインシフトの低減がより効果的に行える。
• 正確な画像ペアアライメントを必要とする完全に教師ありのアプローチを上回る性能を達成しながら、手作業アノテーションのコストを回避した。
• 分布レベルとペアワイズアライメントの組み合わせにより、現実世界でより頑健で一般化可能な視覚表現が得られた。
• 適応された方策は、未学習の現実世界のテストシナリオに対しても良好に一般化でき、弱教師付き適応戦略の有効性を示した。
• 限られたかつ正確でない合成画像と現実画像のペアでも、標準的なシミュレーションから現実へのベースラインに比べて顕著な性能向上が得られた。