[論文レビュー] OccuSeg: Occupancy-aware 3D Instance Segmentation

Lei Han, Tian Zheng+2 more|arXiv (Cornell University)|Mar 14, 2020

3D Shape Modeling and Analysis参考文献 49被引用数 5

ひとこと要約

OccuSegは、1つのインスタンスが占めるボクセル数である「3Dオカペイシティサイズ」を導入することで、オカペイシティに注意を向ける監視を用いる、新しい3Dインスタンスセグメンテーションフレームワークを提案する。空間埋め込みとオカペイシティ信号をマルチタスク学習によって同時に学習することで、ScanNetV2、S3DIS、SceneNNの3つのデータセットで最先端の性能を達成し、高い効率性を実現した。

ABSTRACT

3D instance segmentation, with a variety of applications in robotics and augmented reality, is in large demands these days. Unlike 2D images that are projective observations of the environment, 3D models provide metric reconstruction of the scenes without occlusion or scale ambiguity. In this paper, we define "3D occupancy size", as the number of voxels occupied by each instance. It owns advantages of robustness in prediction, on which basis, OccuSeg, an occupancy-aware 3D instance segmentation scheme is proposed. Our multi-task learning produces both occupancy signal and embedding representations, where the training of spatial and feature embeddings varies with their difference in scale-aware. Our clustering scheme benefits from the reliable comparison between the predicted occupancy size and the clustered occupancy size, which encourages hard samples being correctly clustered and avoids over segmentation. The proposed approach achieves state-of-the-art performance on 3 real-world datasets, i.e. ScanNetV2, S3DIS and SceneNN, while maintaining high efficiency.

研究の動機と目的

• ロボットやAR/VRで一般的に見られる複雑で遮蔽された環境における、頑健な3Dインスタンスセグメンテーションの課題に対処すること。
• インスタンスレベルのオカペイシティサイズを監視信号として組み込むことで、クラスタリングの信頼性を向上させること。
• スケールに注意を向ける空間的および特徴量埋め込みを活用することで、効率的な推論を実現し、高い性能を達成すること。
• オカペイシティサイズの監視を用いることで、過剰セグメンテーションを低減し、難易度の高いインスタンスのクラスタリングを改善すること。
• スケールや遮蔽の曖昧さが存在しないメトリックな3D再構築を用いて、3Dインスタンスセグメンテーションの新しいベンチマークを確立すること。

提案手法

• 本手法は、3Dポイントまたはボクセルごとに空間埋め込みとオカペイシティ信号を同時に予測するマルチタスク学習フレームワークを導入する。
• オカペイシティサイズは、1つのインスタンスが占めるボクセル数として定義され、クラスタリングの強力な監視信号として機能する。
• 空間的および特徴量埋め込みは、異なるスケールでのインスタンスの幾何構造をよりよく捉えるために、スケールに注意を向ける監視で訓練される。
• クラスタリング手法は、予測されたオカペイシティサイズとクラスタ内インスタンスサイズを比較し、正しいグループ化を促進し、過剰セグメンテーションを低減する。
• ネットワークアーキテクチャは3D畳み込み層を統合し、生のポイントクラウドまたはボクセルグリッドからエンドツーエンドの表現を学習する。
• 予測されたオカペイシティサイズとクラスタ内サイズの整合性を促進する微分可能なクラスタリング損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 オカペイシティサイズは、3Dインスタンスセグメンテーションの性能を向上させる信頼できる監視信号として機能するか？
• RQ2 スケールに注意を向ける埋め込み学習は、3Dインスタンスのクラスタリング精度をどのように向上させるか？
• RQ3 オカペイシティに注意を向ける監視は、特に難易度の高い、または小さなインスタンスにおいて過剰セグメンテーションを低減できるか？
• RQ4 提案手法は、高い推論効率を維持しながら最先端の性能を達成できるか？
• RQ5 本手法は、ScanNetV2、S3DIS、SceneNNといった多様な実世界の3Dデータセットにどのように一般化するか？

主な発見

• OccuSegは、ScanNetV2データセットで最先端の性能を達成し、従来手法を上回るインスタンスセグメンテーションの精度を示した。
• 本手法は、S3DISやSceneNNを含む複数のベンチマークで強く一般化し、ドメインシフトに対しても頑健であることが確認された。
• オカペイシティサイズを活用することで、過剰セグメンテーションが低減し、難易度の高い、小さな、または遮蔽されたインスタンスのクラスタリングが改善された。
• オカペイシティ監視を組み込んだマルチタスク学習フレームワークにより、より信頼性が高く一貫性のあるインスタンス予測が得られた。
• 本手法は高い推論効率を維持しており、ロボット工学やAR/VRにおけるリアルタイム応用に適している。
• アブレーションスタディにより、オカペイシティサイズ監視がクラスタリング性能とモデルの頑健性を顕著に向上させることを確認した。