[論文レビュー] Towards Accurate Task Accomplishment with Low-Cost Robotic Arms

Yiming Zuo, Weichao Qiu+4 more|arXiv (Cornell University)|Dec 3, 2018

Robot Manipulation and Learning参考文献 33被引用数 1

ひとこと要約

本論文では、3Dモデルから合成データを生成することで、低価格でセンサを搭載しないロボットアームの3Dポーズ推定用のビジョンモデルを訓練する半教師付きドメイン適応手法を提案する。キーポイント間の幾何的制約と反復最適化を活用することで、実世界のデータに実画像のアノテーションを一切用いずに、強力な一般化性能を達成し、シミュレーテッド強化学習を介した有効なビジョンベース制御を可能にする。

ABSTRACT

Training a robotic arm to accomplish real-world tasks has been attracting increasing attention in both academia and industry. This work discusses the role of computer vision algorithms in this field. We focus on low-cost arms on which no sensors are equipped and thus all decisions are made upon visual recognition, e.g., real-time 3D pose estimation. This requires annotating a lot of training data, which is not only time-consuming but also laborious. In this paper, we present an alternative solution, which uses a 3D model to create a large number of synthetic data, trains a vision model in this virtual domain, and applies it to real-world images after domain adaptation. To this end, we design a semi-supervised approach, which fully leverages the geometric constraints among keypoints. We apply an iterative algorithm for optimization. Without any annotations on real images, our algorithm generalizes well and produces satisfying results on 3D pose estimation, which is evaluated on two real-world datasets. We also construct a vision-based control system for task accomplishment, for which we train a reinforcement learning agent in a virtual environment and apply it to the real-world. Moreover, our approach, with merely a 3D model being required, has the potential to generalize to other types of multi-rigid-body dynamic systems.

研究の動機と目的

• センサを搭載しない低価格のロボットアームのビジョンモデルを、実世界のセンサデータに依存せずに視覚認識に依存して訓練する課題に対処すること。
• 3Dモデルから合成トレーニングデータを生成することで、高価で時間がかかる実世界データのアノテーションの必要性を低減すること。
• ドメイン適応を用いて、シミュレーションドメインで訓練されたビジョンモデルを用いて、実ロボットシステムにおける効果的な3Dポーズ推定を実現すること。
• シミュレーションで強化学習エージェントを訓練し、それを現実世界に転送することで、タスク達成のためのビジョンベース制御システムを開発すること。
• 3Dモデルのみを用いて、他のマルチリジッドボディダイナミクス系にも適用可能な汎用的なフレームワークを構築すること。

提案手法

• ロボットアームの3Dモデルを用いて、多様な視覚的観測をシミュレートする合成トレーニングデータを生成する。
• キーポイント間の幾何的制約を活用することで、一般化性能を向上させる半教師付き学習アプローチを採用する。
• 仮想ドメインにおける誤差を最小化するとともに、複数視点間の一貫性を強制することで、予測を反復最適化アルゴリズムで精緻化する。
• 実画像のアノテーションを一切用いずに、自己教師学習と幾何的事前知識を活用して、仮想分布と実分布を一致させるドメイン適応を実施する。
• シミュレーテッド環境で強化学習エージェントを訓練し、それをそのまま実ロボットにデプロイする。
• キーポイントの幾何的構造を活用することで、ポーズ推定とポリシー学習の両方を強化し、耐障害性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 3Dモデルから生成された合成データは、実世界のアノテーションが一切不要な状態で、低価格のロボットアームにおける正確な3Dポーズ推定を可能にするか？
• RQ2 キーポイント間の幾何的制約を活用する半教師付きアプローチは、シミュレーションから現実へのドメインギャップをどれほど効果的に埋めることができるか？
• RQ3 シミュレーションで訓練されたビジョンベース制御ポリシーは、現実世界のロボット操作タスクに成功裏に転送可能か？
• RQ4 本手法は、3Dモデルのみを用いて、他のマルチリジッドボディ系に対してもどの程度一般化可能か？
• RQ5 実画像のアノテーションを一切使用しない状況で、本手法は実世界のデータセットにおいてどの程度のパフォーマンスを示すか？

主な発見

• 提案手法は、実世界のデータセット2つにおいて、実画像のアノテーションを一切必要とせずに、強力な3Dポーズ推定性能を達成した。
• 幾何的制約を活用する半教師付きアプローチは、合成データから実画像への一般化がうまくいき、ドメインシフトのシナリオにおいてベースライン手法を上回った。
• ビジョンベース制御システムは、シミュレーションで訓練した後、実ロボットアームでタスクを正常に実行でき、効果的なシミュレーションから現実への転送が実証された。
• 本手法は、3Dモデルと幾何的事前知識のみに依存するため、他のマルチリジッドボディ系への一般化の可能性を示した。
• 反復最適化プロセスにより、仮想ドメインにおけるキーポイント構成の一貫性を強制することで、予測精度が向上した。
• 高価な実世界データ収集に依存する必要を減らしながらも、実世界でのデプロイメントにおいて高いパフォーマンスを維持した。