[論文レビュー] A Dataset for Improved RGBD-based Object Detection and Pose Estimation for Warehouse Pick-and-Place

Colin Rennie, Rahul Shome+2 more|arXiv (Cornell University)|Sep 3, 2015

Robotics and Sensor-Based Localization参考文献 20被引用数 7

ひとこと要約

本論文は、10,000枚以上の登録済みカラー画像および深度画像を含み、Amazon Picking Challengeの24種類の物体について6自由度（6DOF）の真値ポーズを備えた大規模かつ公開可能なRGBDデータセットを紹介する。このデータセットは、積み重ねや遮蔽、反射面、低照度といった課題を伴う状況を捉え、ロボットのピックアンドプレースタスクに適した倉庫環境を想定している。これにより、視点、ノイズ、物体配置の制御された変化を介して、RGBDに基づく物体検出およびポーズ推定アルゴリズムの堅牢な評価と改善が可能になる。

ABSTRACT

An important logistics application of robotics involves manipulators that pick-and-place objects placed in warehouse shelves. A critical aspect of this task corre- sponds to detecting the pose of a known object in the shelf using visual data. Solving this problem can be assisted by the use of an RGB-D sensor, which also provides depth information beyond visual data. Nevertheless, it remains a challenging problem since multiple issues need to be addressed, such as low illumination inside shelves, clutter, texture-less and reflective objects as well as the limitations of depth sensors. This paper provides a new rich data set for advancing the state-of-the-art in RGBD- based 3D object pose estimation, which is focused on the challenges that arise when solving warehouse pick- and-place tasks. The publicly available data set includes thousands of images and corresponding ground truth data for the objects used during the first Amazon Picking Challenge at different poses and clutter conditions. Each image is accompanied with ground truth information to assist in the evaluation of algorithms for object detection. To show the utility of the data set, a recent algorithm for RGBD-based pose estimation is evaluated in this paper. Based on the measured performance of the algorithm on the data set, various modifications and improvements are applied to increase the accuracy of detection. These steps can be easily applied to a variety of different methodologies for object pose detection and improve performance in the domain of warehouse pick-and-place.

研究の動機と目的

• RGBDベースのポーズ推定の評価に向けた、現実的で大規模なデータセットの不足に対処する。
• 積み重ね、遮蔽、反射面やテクスチャのない物体、低照度状態といった実世界の課題を捉えたベンチマークデータセットを提供する。
• 視点、ノイズ、物体配置の制御された変化を介して、ポーズ推定アルゴリズムの評価と改善を可能にする。
• 準構造的で限られた空間の倉庫棚におけるロボットピックアンドプレースタスクのための堅牢な認識システムの開発を支援する。
• 豊富なアノテーションと複数のカメラ視点、ノイズ分析に適した繰り返しサンプルを提供することで、古典的手法および学習ベース手法の両方の評価を促進する。

提案手法

• 棚のボックスに対して左、中央、右の3つの異なるカメラ視点から、10,000枚以上の登録済みRGBおよび深度画像を収集する。
• 12のボックスにわたって、Amazon Picking Challengeの24種類の物体について、完全な空間的および時間的変動を伴う6DOF真値ポーズを記録する。
• ターゲットオブジェクトに加えて追加のオブジェクトをボックス内に配置することで、実際の倉庫状況を模倣した制御されたクラッターを導入する。
• 各設定に対して4回の繰り返しサンプルを取得し、Kinect v1からのセンサーノイズをモデル化することで、時間的変動における耐性分析を可能にする。
• すべてのオブジェクトからベースへの変換を真値ファイルに保存し、複数オブジェクトのポーズ推定および3次元再構築タスクへの容易な拡張を可能にする。
• 既存のアルゴリズム（例：LINEMODフレームワーク）とシームレスに統合できるように、データセット統合を支援するオープンソースのソフトウェアツールを提供する。

実験結果

リサーチクエスチョン

• RQ1 一般的なRGBDベースのポーズ推定アルゴリズムは、遮蔽、クラッター、センサーノイズを含む実世界の倉庫環境下でどのように動作するか？
• RQ2 反射面やテクスチャのない物体、透明な物体といった特定の物体タイプは、限られた棚の環境下でRGBDベースのポーズ推定にどのような課題をもたらすか？
• RQ3 視点の変化や部分的遮蔽が、ポーズ推定アルゴリズムの精度にどの程度影響を与えるか？
• RQ4 制御された豊富なデータセットを用いて、ポーズ仮説の集約やノイズフィルタリングといったアルゴリズムの改善が、体系的かつ妥当に導出可能か？
• RQ5 このデータセットは、複数オブジェクトのポーズ推定および3次元再構築技術の評価と開発をどの程度効果的に支援できるか？

主な発見

• テーブルトップ環境では効果的であるが、LINEMODベースのアルゴリズムは、倉庫環境下で顕著な性能低下を示し、特に反射面やテクスチャのない物体に対して顕著である。
• このデータセットは、反射面や透明な物体が一貫して誤検出または誤位置特定されることを明らかにし、標準的なRGBDパイプラインの主な限界を浮き彫りにしている。
• 棚構造による視点の変化や部分的遮蔽は、特に物体の側面や端縁から観察される場合に、ポーズ推定の精度を顕著に低下させる。
• 同一条件下での繰り返しサンプルから、Kinect v1のセンサーノイズが、特に小さな物体やコントラストの低い物体に対して顕著なポーズ推定のばらつきを引き起こすことが示された。
• このデータセットは、失敗モードの特定を可能にし、ノイズフィルタリングやポーズ集約といったターゲットを絞ったアルゴリズム改善を支援し、実世界環境での耐性向上を実現している。
• 複数オブジェクトの設定が含まれているため、3次元再構築および連携ポーズ推定の直接的な評価が可能であり、単一オブジェクト検出をはるかに超えるデータセットの有用性が示された。