[論文レビュー] Probabilistic 3D Multilabel Real-time Mapping for Multi-object Manipulation

Kentaro Wada, Kei Okada+1 more|arXiv (Cornell University)|Jan 16, 2020

Robotics and Sensor-Based Localization参考文献 21被引用数 7

ひとこと要約

本稿では、複数のオブジェクトラベルと衝突占有状態を1ボクセルに同時に表現できるリアルタイム確率的3次元マルチラベルマッピング手法を提案する。この手法により、マルチビューRGB-Dデータからの高密度でマルチオブジェクトな3次元セグメンテーションが可能となる。重い遮蔽下でも、86.9%の認識率と60.7%の成功マニピュレーション率を達成し、平均 $IU_{3d}$ において投影ベース手法より40–96%の向上を示した。

ABSTRACT

Probabilistic 3D map has been applied to object segmentation with multiple camera viewpoints, however, conventional methods lack of real-time efficiency and functionality of multilabel object mapping. In this paper, we propose a method to generate three-dimensional map with multilabel occupancy in real-time. Extending our previous work in which only target label occupancy is mapped, we achieve multilabel object segmentation in a single looking around action. We evaluate our method by testing segmentation accuracy with 39 different objects, and applying it to a manipulation task of multiple objects in the experiments. Our mapping-based method outperforms the conventional projection-based method by 40 - 96\% relative (12.6 mean $IU_{3d}$), and robot successfully recognizes (86.9\%) and manipulates multiple objects (60.7\%) in an environment with heavy occlusions.

研究の動機と目的

• 混雑した遮蔽環境におけるリアルタイムでマルチラベル3次元オブジェクトセグメンテーションの欠如に対処すること。
• 単一ラベルの確率的マッピングを拡張し、1つのボクセルグリッドで複数のオブジェクトラベルを同時にサポートすること。
• 重い遮蔽下でもリアルタイムで高密度な3次元セグメンテーションとマルチオブジェクトマニピュレーションを可能にすること。
• 本手法の性能をセグメンテーション精度と実世界のマニピュレーションタスクの両面で評価すること。

提案手法

• オクトマップを拡張し、各ボクセルにマルチラベル占有確率を格納することで、複数のオブジェクトラベルと衝突情報の同時表現を可能にする。
• 2段階のシステムを採用：深層学習による2次元インスタンスセグメンテーションで各クラスの確率マップを生成し、その後にボクセル単位のラベル確率更新を伴う3次元マッピングを実行する。
• RGB-Dカメラのキャリブレーションを用いて2次元確率マップを3次元点に投影し、1つのオクトリーデータ構造に複数の視点からの確率を蓄積する。
• ベイズ更新を適用して、時間経過に伴い各ボクセル内のマルチラベル占有確率を維持・改善する。
• 各ボクセルにおける最大ラベル確率を用いて最終的なオブジェクトラベルを割り当て、占有状態の閾値を設定する。
• マップをロボットマニピュレーションパイプラインに統合し、順次的オブジェクト認識、遮蔽物の除去、ターゲットのピッキングを実行する。

実験結果

リサーチクエスチョン

• RQ1 マルチビューRGB-Dデータからリアルタイムで3次元マルチラベル占有マップを構築し、高密度なマルチオブジェクトセグメンテーションを可能にすることができるか？
• RQ2 遮蔽環境下において、マルチラベル3次元マッピングは2.5次元投影ベース手法に比べてセグメンテーション精度をどの程度向上させるか？
• RQ3 提案手法はどの程度、重い遮蔽下でも効果的なマルチオブジェクトマニピュレーションを可能にするか？
• RQ4 認識、障害物除去、ターゲットピッキングを含む実世界のマニピュレーションタスクにおいて、本システムの性能はいかがなものか？

主な発見

• 提案手法は平均 $IU_{3d}$ 12.6を達成し、投影ベース手法に比べて相対的に40–96%の向上を示した。
• マルチオブジェクトマニピュレーションタスクにおいて、ロボットは86.9%の試行でターゲットおよび非ターゲットオブジェクトを正しく認識した。
• 障害物除去とターゲットグラスプを含む全タスクの完了成功率は60.7%であった。
• 自己遮蔽やオブジェクト間遮蔽が生じる環境でも、本手法は頑健であり、単一視点投影手法を上回った。
• 失敗事例の主な原因は、グリッパーの空気漏れ（グラスプ失敗）または認識段階での非ターゲットオブジェクトの誤分類であった。
• 本手法はリアルタイム性能を達成し、1回のマルチビュー観測サイクル内で完全な3次元セグメンテーションとマニピュレーションを実行可能であった。