[論文レビュー] Teaching Robots to Do Object Assembly using Multi-modal 3D Vision

Weiwei Wan, Lu Feng+2 more|arXiv (Cornell University)|Jan 25, 2016

Robotics and Sensor-Based Localization参考文献 63被引用数 4

ひとこと要約

本論文では、人間の指導段階でARマーカーを用いて正確なポーズ推定と距離計測を行い、自律実行段階で幾何的制約を用いてノイズや部分的遮蔽を補正するマルチモーダル3Dビジョンシステムを提示する。このシステムはポーズ検出において0.1ミリメートル未満の精度を達成し、産業用ロボット上でグラフベースの運動および組立計画を用いて信頼性の高いリアルワールドのロボット組立を可能にする。

ABSTRACT

The motivation of this paper is to develop a smart system using multi-modal vision for next-generation mechanical assembly. It includes two phases where in the first phase human beings teach the assembly structure to a robot and in the second phase the robot finds objects and grasps and assembles them using AI planning. The crucial part of the system is the precision of 3D visual detection and the paper presents multi-modal approaches to meet the requirements: AR markers are used in the teaching phase since human beings can actively control the process. Point cloud matching and geometric constraints are used in the robot execution phase to avoid unexpected noises. Experiments are performed to examine the precision and correctness of the approaches. The study is practical: The developed approaches are integrated with graph model-based motion planning, implemented on an industrial robots and applicable to real-world scenarios.

研究の動機と目的

• 人間のデモンストレーションから学習するマルチモーダルビジョンを用いたスマートロボット組立システムの開発。
• 人間の指導段階と自律的ロボット実行段階の両方において、正確な3次元視覚的検出の課題に対処すること。
• 単一モーダルアプローチの限界（例：RGB/マーカーにおける遮蔽、点群におけるノイズ）を克服するため、複数のセンシングモーダルの統合。
• 正確なポーズ検出とグラフモデルベースの運動および組立計画の統合により、信頼性の高いタスク実行を実現すること。
• 本システムの実現可能性と正確性を、産業用ロボットのリアルワールドのシナリオで実証すること。

提案手法

• 人間の指導段階において、物体にARマーカーを装着し、RGB画像内でのマーカー検出と変換を用いて、正確でリアルタイムなポーズ推定を実現する。
• ロボット実行段階において、深度カメラからの点群マッチングを用いて、マーカーなしの自動的かつマーカーなしの初期オブジェクトポーズ推定を実施する。
• 平面的なテーブル面からの幾何的制約を活用し、点群からのノイズや不完全なポーズ推定を精緻化・補正する。
• 深度データと外部的制約（例：平面表面）を統合し、部分的損失やセンサーノイズによる誤差を低減して、オブジェクトポーズ推定を安定化させる。
• 把持選択、障害物回避パスプランニング、タスクシーケンシングを統合した、改善された3層構造のグラフモデルを用いた運動および組立計画。
• 産業用ロボット（Kawada Nextage）と完全なパイプラインを統合し、リアルワールドへの適用性と耐障害性を検証する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルビジョンは、ARマーカーを用いた人間の指導段階における3次元オブジェクトポーズ検出精度をどのように向上させ得るか？
• RQ2 深度センシングと幾何的制約の組み合わせは、ノイズや遮蔽が生じるロボット実行環境において、ポーズ推定の精度をどのように向上させるか？
• RQ3 深度データと平面表面制約の統合は、単独手法と比較して、ポーズ推定誤差をどの程度低減するか？
• RQ4 提案された3次元検出パイプラインは、グラフベースの運動および組立計画と効果的に統合可能か？
• RQ5 本システムは、正確性と耐障害性の観点から、実際の産業用ロボットのシナリオでどの程度の性能を示すか？

主な発見

• AR(RGB)モーダルは、人間の指導段階で高い精度のポーズ推定を達成し、人的な制御と遮蔽の回避により、顕著な誤差は報告されていない。
• 幾何的制約を適用した後、ロボット実行段階における最大位置誤差は、x軸、y軸、z軸それぞれ-1.1 mm、3.6 mm、0.0 mmにまで低減された。
• 最大の姿勢誤差は、ロール、ピッチ、ヨーそれぞれ-26.3°、26.1°、-19.5°から、0.0°、0.0°、-21.4°に補正され、誤差補正の有効性が示された。
• 幾何的制約の統合により、z軸およびロール・ピッチ方向の誤差は完全に排除され、x軸、y軸およびヨー方向の誤差はわずかに増加したにとどまった。
• 改善された3層構造のグラフモデルは、ピックアンドプレースおよび組立タスクの両方の運動計画に成功し、計画パスとロボット実行との明確な対応関係が確認された。
• 本システムは、実際の産業用ロボット（Kawada Nextage）上で組立タスクを正常に実行したことで、実用的妥当性を実証した。