[論文レビュー] Sim2Real for Peg-Hole Insertion with Eye-in-Hand Camera

Damian Bogunowicz, Александр Рыбников+2 more|arXiv (Cornell University)|May 29, 2020

Robot Manipulation and Learning参考文献 8被引用数 8

ひとこと要約

本論文では、目が手にあるRGB-Dカメラとプロ prioceptionを用いたエンドツーエンドの深層強化学習を用いて、ペグホール挿入のシミュレーションから実世界への転送アプローチを提案する。ポリシーはTD3を用いてシミュレーションで訓練され、微調整なしに実際のUR5eロボットに直接転送され、ドメインシフトにもかかわらず1cm未満の精度と55%の成功率を達成した。画像拡張は、生のRGB-D入力よりも性能を著しく向上させた。

ABSTRACT

Even though the peg-hole insertion is one of the well-studied problems in robotics, it still remains a challenge for robots, especially when it comes to flexibility and the ability to generalize. Successful completion of the task requires combining several modalities to cope with the complexity of the real world. In our work, we focus on the visual aspect of the problem and employ the strategy of learning an insertion task in a simulator. We use Deep Reinforcement Learning to learn the policy end-to-end and then transfer the learned model to the real robot, without any additional fine-tuning. We show that the transferred policy, which only takes RGB-D and joint information (proprioception) can perform well on the real robot.

研究の動機と目的

• ビジョンベースの深層強化学習を用いて、微調整なしにゼロショットのシミュレーションから実世界への転送を可能にする。
• 画像拡張とマルチモーダルセンサ入力（RGB-D、プロ prioception）がシミュレーションから実世界への一般化をどのように向上させるかを調査する。
• ハプティクスフィードバックや実世界での微調整なしに、純粋にビジョンベースの目が手にある制御アーキテクチャが、正確な挿入を達成できるかを評価する。
• モデルフリー強化学習アルゴリズム（TD3、SAC、DDPG）をシミュレーションでベンチマークし、実世界への転送可能性を評価する。
• 深度センシングの限界とプロ prioceptionがポリシー性能に果たす役割を理解する。

提案手法

• 深層決定的ポリシー勾配（DDPG）とその改善版であるTD3を用いて、CoppeliaSim環境を用いたシミュレーションでビジョンベースの制御ポリシーを訓練する。
• RGB-D画像と関節状態（プロ prioception）からなるマルチモーダル観測空間を用いてエンドツーエンドで訓練する。
• 総報酬関数は距離、成功、衝突、時間ペナルティの合算で構成される：R_total = R_distance + R_success + R_collision + R_time。
• 画像拡張を訓練中に適用し、特にRGB入力の場合のシミュレーションから実世界への転送性を向上させる。
• 訓練されたポリシーは、実世界のUR5eロボットに微調整なしに直接デプロイされた。
• 比較のため、古典的コンピュータビジョン（色セグメンテーションとポーズ推定）を用いたベースライン手法を用いた。

実験結果

リサーチクエスチョン

• RQ1 シミュレーションで訓練されたビジョンベースのエンドツーエンドの深層強化学習ポリシーは、微調整なしに実ロボットでペグホール挿入を成功させることができるか？
• RQ2 画像拡張は、ビジョンベースの強化学習ポリシーのシミュレーションから実世界への転送性能にどのように影響するか？
• RQ3 RGB-D画像とRGBのみの入力のどちらが、実世界での挿入精度と成功率に寄与しているか？
• RQ4 プロ prioception状態観測は、シミュレーションおよび実世界でのポリシー性能にとってどれほど重要か？
• RQ5 なぜRGB-Dポリシーはシミュレーションで成功したにもかかわらず、実世界への一般化に失敗するのか？

主な発見

• TD3アルゴリズムがシミュレーションで最高の報酬を達成し、DDPGやSACを上回った。
• 画像拡張を施したRGBのみのモデルが、実ロボットで55%の挿入成功率を達成し、RGB-Dバージョンを著しく上回った。
• 画像拡張を施したRGB-Dモデルは完全に失敗（0%の成功率）、拡張なしのモデルは性能が低く（0%の成功率、x方向平均誤差-124.1±166.9 mm）だった。
• プロ prioceptionは、シミュレーションでも実世界でも性能向上に顕著な寄与を示さず、このタスクでは重要ではないことが示唆された。
• ベースライン手法は100%の成功率（x方向平均誤差2.4±1.7 mm、y方向0.3±3.0 mm）を達成したが、学習ではなく古典的コンピュータビジョンに依存していた。
• 画像拡張はシミュレーションから実世界への転送に不可欠であり、照明やテクスチャの変化といった実世界の視覚的変動によるドメインシフトを示している。