[論文レビュー] Adversarial Discriminative Sim-to-real Transfer of Visuo-motor Policies

Fangyi Zhang, Jürgen Leitner+3 more|arXiv (Cornell University)|Sep 18, 2017

Adversarial Robustness in Machine Learning参考文献 30被引用数 10

ひとこと要約

本論文は、少量のラベル付き実世界画像とラベルなし実データを用いて、視覚的モーター方策のシミュレーションから現実への移行を実現するための敵対的判別的転送（ADT）手法を提案する。生成的敵対的ネットワークとモジュラーなディープQネットワークを統合することで、ラベル付き実データの必要数を50%削減し、7自由度のロボット到達タスクにおいて93枚のラベル付きおよび186枚のラベルなし実画像を用いて97.8%の成功率と1.8 cmの制御精度を達成した。

ABSTRACT

Various approaches have been proposed to learn visuo-motor policies for real-world robotic applications. One solution is first learning in simulation then transferring to the real world. In the transfer, most existing approaches need real-world images with labels. However, the labelling process is often expensive or even impractical in many robotic applications. In this paper, we propose an adversarial discriminative sim-to-real transfer approach to reduce the cost of labelling real data. The effectiveness of the approach is demonstrated with modular networks in a table-top object reaching task where a 7 DoF arm is controlled in velocity mode to reach a blue cuboid in clutter through visual observations. The adversarial transfer approach reduced the labelled real data requirement by 50%. Policies can be transferred to real environments with only 93 labelled and 186 unlabelled real images. The transferred visuo-motor policies are robust to novel (not seen in training) objects in clutter and even a moving target, achieving a 97.8% success rate and 1.8 cm control accuracy.

研究の動機と目的

• ロボットの視覚的モーター方策学習における現実世界データのラベル付けコストの高さに対処する。
• シミュレーションから現実へのロボット方策の転送にあたり、大規模なラベル付き実データに依存しないようにする。
• 最小限のラベル付き実画像と豊富なラベルなし実データを用いて、現実環境への強固な方策転送を可能にする。
• 回帰タスクにおける敵対的ドメイン適応の有効性を示す。
• 複雑なロボットタスクにおけるモジュラーなニューラルネットワークアーキテクチャのスケーラビリティと耐性を検証する。

提案手法

• 生成的敵対的ネットワーク（GAN）に類似したディスクライマナーを用いて、シミュレーションと現実世界の観測間の特徴を一致させる敵対的判別的転送（ADT）フレームワークを提案する。
• ドメインランダマイゼーションを用いてシミュレーションで認識モジュールを学習し、その後敵対的損失最小化により実世界データに適応させる。
• 認識モジュールと制御モジュールを統合的に最適化するモジュラーなディープQネットワーク（DQN）アーキテクチャを統合し、重み付き損失を用いてエンドツーエンドで微調整する。
• ラベル付き実画像（最小48枚）を少数用い、ラベルなし実画像を最大2倍の数で用いてディスクライマナーを学習し、方策予測を精緻化する。
• 推論時にPIコントローラーを適用して方策出力を安定化させ、視覚的および動的変動に対する耐性を向上させる。
• 重み付きエンドツーエンド微調整を実装し、適応段階で高信頼度の予測に重点を置くことで性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 敵対的判別的転送は、シミュレーションから現実への視覚的モーター方策転送に必要なラベル付き実画像の数を削減できるか？
• RQ2 提案手法であるADTは、最小限の実データを用いて、シミュレーションで学習した方策を現実世界のロボット操作タスクに効果的に転送できるか？
• RQ3 モジュラーなネットワークアーキテクチャは、ごみだらけの環境における新しい干渉物体や移動するターゲットに対して、どの程度耐性を発揮するか？
• RQ4 ドメインランダマイゼーションと敵対的適応の組み合わせは、純粋なドメインランダマイゼーションと比較して、データ効率性と性能の面で優れているか？
• RQ5 ADTフレームワークは、極めて限られたラベル付き実データを用いたフェイシュートシミュレーションから現実への転送に拡張可能か？

主な発見

• 敵対的判別的転送（ADT）手法は、教師あり適応と比較して、ラベル付き実画像の必要数を50%削減し、同等の性能を達成した。
• 93枚のラベル付きおよび186枚のラベルなし実画像を用いた結果、7自由度のロボット到達タスクで97.8%の成功率と中央値1.8 cmの制御誤差を達成した。
• 本手法は、新しい干渉物体や動くターゲットに対しても耐性を示し、学習分布を超えた一般化を実現した。
• 重み付き損失を用いたエンドツーエンド微調整により、初期の転送段階と比較して方策の正確性が37.9%向上した。これは、統合的最適化の重要性を示している。
• わずか48枚のラベル付き実画像で97.8%の成功率を達成した。これは、データが限られる状況下でもフェイシュートシミュレーションから現実への転送に強い可能性を示している。
• モジュラーなアーキテクチャにより、30,225本のシミュレーテッド軌道と333件の実データ（93枚ラベル付き、186枚ラベルなし）で効果的な転送が可能となり、データ効率面で純粋なドメインランダマイゼーションを上回った。