[論文レビュー] Instance Segmentation of Visible and Occluded Regions for Finding and Picking Target from a Pile of Objects

Kentaro Wada, Shingo Kitagawa+2 more|arXiv (Cornell University)|Jan 21, 2020

Robotics and Sensor-Based Localization参考文献 21被引用数 10

ひとこと要約

本論文では、インスタンス隠蔽セグメンテーションを用いて、ごちゃついた山の中から目的のオブジェクトを特定・ピッキングするロボットシステムを提案する。この手法は、オブジェクト間の相互関係をモデル化する新しい「relook」アーキテクチャを用いて、可視領域と隠蔽領域を同時に予測する。システムは人為的アノテーションが不要な合成データ生成を活用し、隠蔽を考慮したインスタンスセグメンテーション分野で最先端の性能を達成しており、複雑で隠蔽の多いシーンにおいても実世界でのピッキングを成功させている。

ABSTRACT

We present a robotic system for picking a target from a pile of objects that is capable of finding and grasping the target object by removing obstacles in the appropriate order. The fundamental idea is to segment instances with both visible and occluded masks, which we call `instance occlusion segmentation'. To achieve this, we extend an existing instance segmentation model with a novel `relook' architecture, in which the model explicitly learns the inter-instance relationship. Also, by using image synthesis, we make the system capable of handling new objects without human annotations. The experimental results show the effectiveness of the relook architecture when compared with a conventional model and of the image synthesis when compared to a human-annotated dataset. We also demonstrate the capability of our system to achieve picking a target in a cluttered environment with a real robot.

研究の動機と目的

• バケツに積み重なった重なったアイテムがあるような状況で、ロボットが高度に隠蔽されたオブジェクトの山の中からターゲットオブジェクトを特定・ピッキングできるようにすること。
• ターゲットが障害物に隠れている場合に、見えない領域を推論することで正しいピッキング順序を計画する課題に対処すること。
• 人為的アノテーションデータセットへの依存を排除するため、実際の隠蔽パターンと正解マスクを生成するデータ合成フレームワークを用いること。
• インスタンス間の関係を明示的にモデル化することで、可視領域および隠蔽領域の両方のセグメンテーション精度を向上させる深層学習モデルを開発すること。
• 重度の隠蔽状態にある実世界のロボットピッキングタスクにおいて、本システムの有効性を実証すること。

提案手法

• オブジェクトインスタンス間の密度および空間的関係をモデル化することで、隠蔽領域の予測を向上させる新しい「relook」アーキテクチャを導入し、インスタンスセグメンテーションの性能を向上させる。
• 画像合成技術を用いて、個々のオブジェクトインスタンス画像から多様な積み重ね構成を生成し、可視領域および隠蔽領域の正解マスクを備えた合成データセットを生成する。
• モデルは合成データ上でエンドツーエンドに訓練され、人為的アノテーションなしに新しいオブジェクトに対してもゼロショット一般化が可能になる。
• 各インスタンスに対して可視領域と隠蔽領域の両方のマスクを予測するマルチクラスセグメンテーションヘッドを採用し、従来のインスタンスセグメンテーションを隠蔽を別クラスとして扱う形に拡張する。
• 遮蔽の閾値として0.3、インスタンス間の遮蔽比として0.1を用い、ターゲットを遮蔽しているオブジェクトを特定する。
• バックボーンネットワークには、特徴抽出を強化するためのResNet101を採用し、公平な比較のため3つのGPUを用いた学習率スケーリングで訓練を行う。

実験結果

リサーチクエスチョン

• RQ1 人為的アノテーションが不要な訓練データのもとで、ビジョンシステムはごちゃついたシーンにおけるオブジェクトの隠蔽領域を正しく予測できるか？
• RQ2 インスタンス間の関係をモデル化するrelookアーキテクチャは、従来のモデルと比較してインスタンス隠蔽セグメンテーションの性能をどの程度向上させるか？
• RQ3 合成データ生成は、人為的アノテーションデータセットに代わる十分な一般化能力を備えているか？
• RQ4 提案されたシステムは、重度の隠蔽状態にある実世界のロボット操作タスクにおいて、正しいピッキング順序の計画をどの程度可能にするか？
• RQ5 本システムは、トレーニング時に見なかった新しいオブジェクトを含む実世界のピッキングタスクにおいて、どの程度の性能を示すか？

主な発見

• relookアーキテクチャはmPQが14.4を達成し、ベースラインのSoftmaxモデル（13.4）およびSoftmax_x2（13.8）を顕著に上回り、隠蔽セグメンテーションにおける有効性を示した。
• relookモデルのmAPスコアは48.6であり、Softmax（46.1）およびSoftmax_x2（47.1）のベースラインを上回り、検出精度および可視マスク品質の向上を示した。
• 合成データセットのmPQは14.2を達成し、人為的アノテーションデータセットのmPQ（14.4）に非常に近い結果を示し、画像合成フレームワークの有効性を裏付けた。
• 本システムは、実世界でのターゲットオブジェクトピッキングを成功させ、障害物の除去順序も正しく制御した（例：ダンベルの前にテニスボールホルダーを除去）。
• ResNet101をバックボーンとして用いることで認識精度が向上し、複雑な実世界の混雑シーンでも安定した性能を発揮した。
• 0.3の遮蔽比閾値を用いることで、積み重ね構成における遮蔽されたターゲットの正しく特定が可能となり、信頼性の高い隠蔽推論が実現した。