[論文レビュー] RevealNet: Seeing Behind Objects in RGB-D Scans

Ji Hou, Angela Dai+1 more|arXiv (Cornell University)|Apr 26, 2019

Advanced Neural Network Applications参考文献 54被引用数 7

ひとこと要約

RevealNetは、色と幾何特徴を統合して、不完全なRGB-Dスキャンから3次元オブジェクトインスタンスを共同で検出するとともに、完全な幾何形状を予測する画期的なエンドツーエンド3次元畳み込みニューラルネットワークを導入する。この手法は、オブジェクトの裏側を『見る』能力を可能にする統一的インスタンスレベルの完成処理により、SOTAを更新し、ScanNetではmAP@0.5で15.8向上、SUNCGでは18.5向上を達成した。

ABSTRACT

During 3D reconstruction, it is often the case that people cannot scan each individual object from all views, resulting in missing geometry in the captured scan. This missing geometry can be fundamentally limiting for many applications, e.g., a robot needs to know the unseen geometry to perform a precise grasp on an object. Thus, we introduce the task of semantic instance completion: from an incomplete RGB-D scan of a scene, we aim to detect the individual object instances and infer their complete object geometry. This will open up new possibilities for interactions with objects in a scene, for instance for virtual or robotic agents. We tackle this problem by introducing RevealNet, a new data-driven approach that jointly detects object instances and predicts their complete geometry. This enables a semantically meaningful decomposition of a scanned scene into individual, complete 3D objects, including hidden and unobserved object parts. RevealNet is an end-to-end 3D neural network architecture that leverages joint color and geometry feature learning. The fully-convolutional nature of our 3D network enables efficient inference of semantic instance completion for 3D scans at scale of large indoor environments in a single forward pass. We show that predicting complete object geometry improves both 3D detection and instance segmentation performance. We evaluate on both real and synthetic scan benchmark data for the new task, where we outperform state-of-the-art approaches by over 15 in mAP@0.5 on ScanNet, and over 18 in mAP@0.5 on SUNCG.

研究の動機と目的

• センサの制限によりオブジェクト部が隠蔽される不完全な3次元スキャンの課題に対処すること。
• オブジェクト検出と、見えない領域を含む完全な3次元幾何形状の推定を統合した、新しいタスク「セマンティックインスタンス完成」を導入すること。
• ロボット工学、バーチャルリアリティ、シーン編集アプリケーションにおける、より正確で意味的に意味のあるシーン理解を可能にすること。
• インスタンスロケーションとオブジェクト幾何形状の完成を同時に学習することで、3次元検出とインスタンスセグメンテーションの性能を向上させること。
• 大規模な屋内シーンを1回の順伝播で処理できるスケーラブルな完全畳み込みアーキテクチャを開発すること。

提案手法

• RGB画像とTSDF（切断された符号付き距離場）幾何表現の両方を処理する統一された3次元畳み込みニューラルネットワーク（CNN）バックボーンを使用する。
• インスタンスごとのボクセル占有マスクを通じて、エンドツーエンドで3次元バウンディングボックス、クラスラベル、完全なオブジェクト幾何形状を予測する。
• 検出と完成の精度向上に寄与する、色と幾何特徴の共同学習を活用する。
• 完全なオブジェクト形状の予測を監視するために、幾何的完成プロキシ損失を組み込む。
• スケールに応じた高密度ボリュームグリッドでの効率的な推論を可能にする完全畳み込み設計を採用する。
• オブジェクトレベルの完成に関する真値を提供するため、Scan2CADアノテーションを用いて合成データおよび実世界スキャンで学習する。

実験結果

リサーチクエスチョン

• RQ1 統一されたディープラーニングモデルは、部分的なRGB-Dスキャンから3次元オブジェクトインスタンスを検出し、完全な幾何形状を同時に予測できるか？
• RQ2 完全なオブジェクト幾何形状の予測は、3次元インスタンス検出およびセグメンテーションの性能を向上させるか？
• RQ3 検出と完成を統合的に学習するアプローチは、分離したアプローチと比較してどれほど効果的か？
• RQ4 色情報の統合は、セマンティックインスタンス完成の精度をどの程度向上させるか？
• RQ5 グローバルな幾何的完成プロキシ損失は、予測された完全なオブジェクト形状の品質にどの程度影響を与えるか？

主な発見

• RevealNetは、実世界のScanNetベンチマークにおいて、セマンティックインスタンス完成タスクでSOTA手法をmAP@0.5で15.8ポイント上回った。
• 合成データセットであるSUNCGでは、RevealNetは既存手法をmAP@0.5で18.5ポイント上回り、優れた一般化性能を示した。
• 色情報の導入により、実世界および合成スキャンの両方で完成性能が向上し、マルチモodal特徴学習の価値が裏付けられた。
• 幾何的完成プロキシ損失の導入により、予測された完全なオブジェクト形状の品質が顕著に向上し、下流タスクの検出およびセグメンテーション性能が向上した。
• 完全なオブジェクト幾何形状の予測は、3次元インスタンスセグメンテーションおよび検出性能に顕著な向上をもたらし、完成処理が検出に寄与することを示した。
• 完全畳み込みアーキテクチャにより、大規模な3次元スキャンに対する効率的でシングルパスの推論が可能となり、実世界への展開に適したスケーラブルな手法となった。