[論文レビュー] ClusterNet: Instance Segmentation in RGB-D Images

Lin Shao, Ye Tian+1 more|arXiv (Cornell University)|Jul 24, 2018

Advanced Neural Network Applications参考文献 18被引用数 13

ひとこと要約

ClusterNetは、物体占有関数の一次および二次モーメントを用いて物体インスタンスを表現することで、RGB-D画像におけるインスタンスセグメンテーション手法を提案する。時計型のDNNを用いて3次元物体の中心、サイズ、姿勢を予測し、最終的なセグメンテーションをモーメント空間におけるクラスタリングにより実現する。合成データセットでは最先端の性能を達成し、実世界データに対しても優れた汎化性能を示す。

ABSTRACT

We propose a method for instance-level segmentation that uses RGB-D data as input and provides detailed information about the location, geometry and number of individual objects in the scene. This level of understanding is fundamental for autonomous robots. It enables safe and robust decision-making under the large uncertainty of the real-world. In our model, we propose to use the first and second order moments of the object occupancy function to represent an object instance. We train an hourglass Deep Neural Network (DNN) where each pixel in the output votes for the 3D position of the corresponding object center and for the object's size and pose. The final instance segmentation is achieved through clustering in the space of moments. The object-centric training loss is defined on the output of the clustering. Our method outperforms the state-of-the-art instance segmentation method on our synthesized dataset. We show that our method generalizes well on real-world data achieving visually better segmentation results.

研究の動機と目的

• 自律ロボティクスアプリケーション向けに、RGB-Dシーンにおける正確なインスタンスレベルのセグメンテーションを可能にすること。
• 物体インスタンスを占有関数の幾何的モーメント（一次および二次）でモデル化することで、3次元の局所化および形状推定を向上させること。
• クラスタリングされた出力上で動作する微分可能でオブジェクト中心の訓練損失を設計し、セグメンテーション精度を向上させること。
• 合成データから実世界のRGB-Dデータへの強力な汎化を達成すること。
• 意思決定が不確実な環境で有効であるよう、物体の位置、幾何、姿勢に関する詳細なインスタンスごとの情報を提供すること。

提案手法

• 本手法は、各物体インスタンスをその3次元占有関数の一次および二次モーメントを用いて表現し、中心、サイズ、方向を符号化する。
• 時計型の深層畳み込みニューラルネットワーク（DNN）が、画素ごとの物体中心および3次元空間内の幾何的パラメータの投票を予測する。
• インスタンスセグメンテーションは、予測されたモーメントベクトルに基づいてモーメント空間における画素のクラスタリングにより実行される。
• 訓練損失は最終的なクラスタリング出力に基づいて定義され、セグメンテーションタスクのエンドツーエンド最適化を可能にする。
• モデルは、合成オブジェクトの配置と実世界のシーン背景を組み合わせた合成RGB-Dデータセットで学習される。
• 本アプローチはRGBおよび深度情報の両方を活用することで、3次元インスタンス局所化および形状推定を向上させる。

実験結果

リサーチクエスチョン

• RQ1 物体インスタンスのモーメントベース表現は、RGB-Dデータにおける3次元インスタンスセグメンテーションを向上させ得るか？
• RQ2 モーメント空間におけるクラスタリングは、直接的な画素単位の予測よりも正確で頑健なインスタンスセグメンテーションを実現するか？
• RQ3 合成RGB-Dデータで学習したモデルは、実世界のシーンに効果的に汎化可能か？
• RQ4 オブジェクト中心の訓練損失は、標準的なセグメンテーション損失と比較して、セグメンテーション性能をどのように向上させるか？
• RQ5 RGBおよび深度データの両方を用いることで、インスタンスセグメンテーションの精度および幾何的詳細にどのような影響を与えるか？

主な発見

• ClusterNetは合成RGB-Dデータセットにおいて最先端のインスタンスセグメンテーション手法を上回り、インスタンス局所化およびセグメンテーションの精度が優れていることが示された。
• 本手法は実世界のRGB-Dデータに対しても良好に汎化され、ベースライン手法と比較して視覚的に優れたセグメンテーション結果を生成した。
• モーメントベース表現の使用により、単一のフォワードパスで物体の中心、サイズ、姿勢を高精度に推定可能である。
• クラスタリングに基づく後処理ステップは、幾何的一致性に基づいて画素を整合性のある物体インスタンスに効果的にグループ化する。
• オブジェクト中心の訓練損失により、セグメンテーション品質を直接最適化することで、より一貫性があり正確なインスタンス予測が得られた。
• 追加の監視やインスタンス固有の埋め込みを必要とせず、RGBおよび深度入力のみで高品質なインスタンスセグメンテーションを達成した。