[論文レビュー] ClusterNet: 3D Instance Segmentation in RGB-D Images

Lin Shao, Ye Tian+1 more|arXiv (Cornell University)|Jul 24, 2018

Industrial Vision Systems and Defect Detection被引用数 11

ひとこと要約

ClusterNetは、物体の占有関数の一次モーメントと二次モーメントを回帰することで、オブジェクトの中心、サイズ、姿勢を表現する、提案なしの3次元インスタンスセグメンテーション手法を提案する。時計型の深層ニューラルネットワークで学習し、モーメント空間におけるクラスタリングで精緻化することで、合成データセットで最先端の性能を達成し、微調整なしに現実世界のデータへも頑健に一般化する。

ABSTRACT

We propose a method for instance-level segmentation that uses RGB-D data as input and provides detailed information about the location, geometry and number of individual objects in the scene. This level of understanding is fundamental for autonomous robots. It enables safe and robust decision-making under the large uncertainty of the real-world. In our model, we propose to use the first and second order moments of the object occupancy function to represent an object instance. We train an hourglass Deep Neural Network (DNN) where each pixel in the output votes for the 3D position of the corresponding object center and for the object's size and pose. The final instance segmentation is achieved through clustering in the space of moments. The object-centric training loss is defined on the output of the clustering. Our method outperforms the state-of-the-art instance segmentation method on our synthesized dataset. We show that our method generalizes well on real-world data achieving visually better segmentation results.

研究の動機と目的

• 混雑し、遮蔽が強いシーンにおいて、オブジェクト数が未知の状況での3次元インスタンスセグメンテーションの課題に対処すること。
• 深度データと明示的な3次元オブジェクト特徴表現を活用することで、現実世界のロボットビジョンにおける頑健性と精度を向上させること。
• 遮蔽が激しい場合やオブジェクトが重なっている場合に失敗する領域提案に依存しないようにすること。
• 微調整なしに合成データから現実世界のRGB-Dデータへ一般化できること。
• リアルタイムのロボット意思決定に適したスケーラブルでオブジェクト中心のフレームワークを提供すること。

提案手法

• モデルは、各ピクセルに対して、そのピクセルが属するオブジェクトの一次モーメント（オブジェクト中心）と二次モーメント（サイズと姿勢）を予測する、時計型の深層ニューラルネットワークを用いる。
• オブジェクトインスタンスは、予測されたモーメントで定義される3次元特徴空間における逐次的クラスタリングによって推定される。
• ネットワークは、予測されたオブジェクト特徴、分散、インスタンスの一意性の違反に関する誤差をペナルティとするオブジェクト中心の損失関数で学習される。
• 入力モodalitiesにはRGB、深度、点群が含まれ、モデルは深度および点群データを活用して3次元位置決めとセグメンテーションを向上させる。
• 領域提案を回避することで、各ピクセルがバウンディングボックスを超えたグローバルなコンテキストにアクセス可能になる。
• 損失関数には、重心回帰（$\lambda_{p} = 100.0$）、特徴分散（$\lambda_{var} = 100.0$）、インスタンス違反（$\lambda_{vio} = 100.0$）の重み付き項が含まれる。

実験結果

リサーチクエスチョン

• RQ1 提案なしのディープラーニングフレームワークは、RGB-Dデータを用いて遮蔽が強く混雑したシーンで、優れた3次元インスタンスセグメンテーション性能を達成できるか？
• RQ2 オブジェクトの3次元モーメント（中心、サイズ、姿勢）を明示的に回帰することは、領域提案ベースの手法と比較して、精度と頑健性で優れているか？
• RQ3 深度および点群データを統合することで、現実世界のデータへのインスタンスセグメンテーションの一般化性能がどの程度向上するか？
• RQ4 微調整なしに、合成データから現実世界のデータへモデルが一般化できるか？
• RQ5 モーメント空間におけるクラスタリングは、置換不変性を保ちながら、インスタンスの識別を効果的に回復できるか？

主な発見

• Our(c)およびOur(c+cov)モデルは合成データセットにおいてMask R-CNN(C4)を上回り、すべての遮蔽レベルで最高のAPおよびARを達成した。
• 遮蔽が強いオブジェクトにおいて、モデルはMask R-CNN(C4)に比べ15.6%高い平均リCALLを達成し、優れた頑健性を示した。
• 深度および点群入力を含む（Our(rgbxyz→c)）モデルは、RGBのみの入力（Our(rgb→c)）に比べ、インスタンスセグメンテーション性能が大幅に向上した。
• Our(c)は大規模なオブジェクトにおいてOur(rgbxyz→c)を上回った。これは、深度画像が大規模インスタンスをセグメンテーションする上で重要な手がかりを提供していることを示している。
• 現実世界のデータにおいて、Our(c)は高精度で複数のオブジェクトを正しくセグメンテーションしたが、Mask R-CNN(C4)は完全に失敗し、画像全体を1つのインスタンスとして扱った。
• モデルは微調整なしに現実世界のデータへ良好に一般化し、強力なゼロショット転送能力を示した。