[論文レビュー] Unseen Object Instance Segmentation for Robotic Environments

Christopher Xie, Xiang Yu+2 more|arXiv (Cornell University)|Jul 16, 2020

Robot Manipulation and Learning参考文献 85被引用数 10

ひとこと要約

本論文は、合成RGB-Dデータを用いたロボット用テーブルトップ環境における未観測オブジェクトインスタンスセグメンテーションのための2段階的ディーブラーニングフレームワーク、UOIS-Netを提案する。まず深度情報のみを用いてセンター投票回帰により粗いマスクを生成し、その後RGBを用いてそれを精緻化することで、非実写的で非現実的な合成RGBで学習しているにもかかわらず、実世界の未観測オブジェクトに対する最先端の一般化性能を達成する。

ABSTRACT

In order to function in unstructured environments, robots need the ability to recognize unseen objects. We take a step in this direction by tackling the problem of segmenting unseen object instances in tabletop environments. However, the type of large-scale real-world dataset required for this task typically does not exist for most robotic settings, which motivates the use of synthetic data. Our proposed method, UOIS-Net, separately leverages synthetic RGB and synthetic depth for unseen object instance segmentation. UOIS-Net is comprised of two stages: first, it operates only on depth to produce object instance center votes in 2D or 3D and assembles them into rough initial masks. Secondly, these initial masks are refined using RGB. Surprisingly, our framework is able to learn from synthetic RGB-D data where the RGB is non-photorealistic. To train our method, we introduce a large-scale synthetic dataset of random objects on tabletops. We show that our method can produce sharp and accurate segmentation masks, outperforming state-of-the-art methods on unseen object instance segmentation. We also show that our method can segment unseen objects for robot grasping.

研究の動機と目的

• ロボットが事前に露出されていない未構造的なテーブルトップ環境における新しいオブジェクトインスタンスを認識し、セグメンテーションできるようにすること。
• 未観測オブジェクトインスタンスセグメンテーションのための大規模な実世界データセットの不足に取り組むこと。
• 合成データで学習することでシミュレーションから実世界へのドメインギャップを埋め、実世界シナリオにおける強力な一般化性能を達成すること。
• 深度情報を用いてインスタンスの局所化を強力に行い、RGBを用いて微細な境界を精緻化する手法を開発すること。非実写的で非現実的な合成RGBでも、その効果を発揮する。

提案手法

• UOIS-Netは2段階のアーキテクチャを採用する：まず、合成深度画像から2次元または3次元のセンター投票を回帰することで、粗い初期マスクを生成する深度シーディングネットワーク（DSN）を用いる。
• DSNは合成深度データにのみトレーニングされ、ノイズやドメインシフトが生じても、実世界の深度センサーに強く一般化する。
• 次に、領域精緻化ネットワーク（RRN）が初期マスクと非実写的で非現実的な合成RGB入力を受けて、オブジェクト境界を精緻化し、鋭く正確なインスタンスマスクを生成する。
• RRNは非実写的で非現実的な合成RGBでトレーニングされているが、局所化されたマスク条件付きの精緻化タスクのおかげで、実世界RGBへの一般化が効果的に達成される。
• 本手法は、PyBulletを用いてテーブル上にランダムなShapeNetオブジェクトを配置することで生成された大規模な合成データセット、テーブルトップオブジェクトデータセット（TOD）を用いる。
• センター投票に対して後処理としてクラスタリングを適用し、初期インスタンスマスクを形成した後、RRNを用いてピクセル単位の精緻化を実施する。

実験結果

リサーチクエスチョン

• RQ1 深度処理とRGB処理を分離する2段階ネットワークは、エンドツーエンド手法と比較して、実世界のロボット環境における未観測オブジェクトへの一般化性能を向上させることができるか？
• RQ2 非実写的で非現実的な合成RGBでトレーニングされた精緻化ネットワークは、ドメイン適応やドメインランダマイゼーションなしで、実世界RGBにうまく一般化することができるか？
• RQ3 ノイズやドメインシフトに対する耐性という観点で、深度情報のみのセンター投票とRGBのみ、またはRGB-Dの統合手法と比較して、どの程度のロバストネスを示すか？
• RQ4 実データの微調整なしに、合成データのみでトレーニングされたモデルが、実世界の未観測オブジェクトインスタンスセグメンテーションで強力な性能を発揮できるか？
• RQ5 ごみだらけの実世界のテーブルトップシーンにおける、深度ベースのインスタンスマスクセグメンテーションの主な失敗モードは何か？

主な発見

• UOIS-Net-2DおよびUOIS-Net-3Dは、合成TODテストセットでは性能を発揮しないものの、実世界テストデータにおいてMask R-CNN や PointGroup よりも優れた性能を示す。
• 実世界データにおいて、UOIS-Net-2Dはオーバーラップで90.9%のF1スコア、境界で84.1%のF1スコアを達成し、Mask R-CNN や PointGroup を上回る。
• 領域精緻化ネットワーク（RRN）は、実データでトレーニングされた場合とほぼ同等の一般化性能を示しており、マスク精緻化タスクはエンドツーエンドセグメンテーションと比較してRGBのリアルさにあまり依存しないことが示された。
• 実世界実験では、51個の未観測オブジェクトを把持する成功率が80.3%に達し、失敗の主な原因はセグメンテーションの誤りや把持生成の不正確さであった。
• 一般的な失敗モードとして、密に接近したオブジェクトや平板な表面のオブジェクトのセグメンテーション不足、および電動ドリルのような非凸形状のオブジェクトの過剰セグメンテーションが挙げられる。
• 本フレームワークはノイズの多い深度センサーに対してもロバストであり、非現実的な合成RGBでも、境界精緻化にRGBを効果的に活用している。