[論文レビュー] 3D-SIC: 3D Semantic Instance Completion for RGB-D Scans

Ji Hou, Angela Dai+1 more|arXiv (Cornell University)|Sep 25, 2019

3D Shape Modeling and Analysis参考文献 34被引用数 6

ひとこと要約

本論文では、RGB-Dスキャンからの3次元セマンティックインスタンスコンプリートを目的とした、3D-SICと呼ばれる新しいエンドツーエンドのディーブラーニングフレームワークを提案する。本手法は、色と幾何学的特徴の統合学習を用いて、オブジェクトインスタンスの検出とその完全な3次元形状の予測を同時に実行する。本手法は最先端の性能を達成し、ScanNetでは15 mAP@0.5以上、SUNCGでは18 mAP@0.5以上、先行手法を上回っている。

ABSTRACT

This paper introduces the task of semantic instance completion: from an incomplete RGB-D scan of a scene, we aim to detect the individual object instances comprising the scene and infer their complete object geometry. This enables a semantically meaningful decomposition of a scanned scene into individual, complete 3D objects, including hidden and unobserved object parts. This will open up new possibilities for interactions with object in a scene, for instance for virtual or robotic agents. To address this task, we propose 3D-SIC, a new data-driven approach that jointly detects object instances and predicts their completed geometry. The core idea of 3D-SIC is a novel end-to-end 3D neural network architecture that leverages joint color and geometry feature learning. The fully-convolutional nature of our 3D network enables efficient inference of semantic instance completion for 3D scans at scale of large indoor environments in a single forward pass. In a series evaluation, we evaluate on both real and synthetic scan benchmark data, where we outperform state-of-the-art approaches by over 15 in mAP@0.5 on ScanNet, and over 18 in mAP@0.5 on SUNCG.

研究の動機と目的

• 不完全なRGB-Dスキャンから個々のオブジェクトインスタンスの完全な3次元形状を再構築する課題に対処すること。
• 遮蔽されたり観測されていない部分を含む、完全で識別可能な3次元オブジェクトにシーンを意味的に分解できること。
• 完全に畳み込み型の3次元ニューラルネットワークを用いて、大規模な屋内環境におけるスケーラブルで効率的な推論手法を開発すること。
• 1回の順伝播処理でオブジェクトインスタンスを同時に検出し、完全な3次元形状を予測すること。
• 実際のデータと合成データのベンチマークにおいて、既存の最先端手法を上回る性能を達成すること。

提案手法

• 3D-SICは、入力のRGB-Dスキャンをエンドツーエンドで処理する完全に畳み込み型の3次元ニューラルネットワークアーキテクチャを採用している。
• モデルは、入力スキャン内の色と幾何学的情報からの統合的特徴学習を活用している。
• 3次元ボクセルグリッド表現のシーンからマルチスケール特徴を抽出するために、共通のバックボーンを用いている。
• 各タスク専用のヘッドを介して、インスタンスセグメンテーションマスクと完全な3次元形状を同時に予測している。
• このアーキテクチャにより、大規模な屋内シーンにおいて効率的な1パス推論が可能である。
• インスタンスセグメンテーションと形状コンプリートの目的関数を組み合わせたマルチタスク損失を用いて訓練している。

実験結果

リサーチクエスチョン

• RQ1 統合的なディーブラーニングフレームワークは、不完全なRGB-Dスキャンからオブジェクトインスタンスを検出し、それらの完全な3次元幾何形状を予測できるか？
• RQ2 色と幾何学の統合的特徴学習は、3次元セマンティックインスタンスコンプリートの性能向上にどの程度効果的か？
• RQ3 提案された3D-SIC手法は、実データ（ScanNet）と合成データ（SUNCG）のRGB-Dスキャンデータセット間でどの程度一般化可能か？
• RQ4 ベンチマークデータセットにおけるmAP@0.5の観点から、3D-SICは最先端手法と比べてどの程度優れているか？
• RQ5 本モデルは、リアルタイム推論能力を備えた大規模な屋内環境に効率的にスケーリング可能か？

主な発見

• 3D-SICは、ScanNetベンチマークにおいて、最先端手法よりも15ポイント以上のmAP@0.5を達成した。
• SUNCGの合成データセットでは、先行手法と比較してmAP@0.5が18ポイント以上向上した。
• 完全に畳み込み型の設計により、大規模な屋内シーンにおける効率的な1パス推論が可能になった。
• 色と幾何学の統合的特徴学習は、モデルが完全なオブジェクト形状を予測する能力を顕著に向上させた。
• 本手法は、実世界データ（ScanNet）と合成データ（SUNCG）の両方のRGB-Dスキャンデータに対して、良好な一般化性能を示した。
• 性能向上の結果から、3次元インスタンスレベル再構築におけるエンドツーエンドの統合的検出とコンプリートの有効性が裏付けられた。