[論文レビュー] Semantic Scene Completion from a Single Depth Image

Shuran Song, Fisher Yu+4 more|arXiv (Cornell University)|Nov 28, 2016

Advanced Vision and Imaging参考文献 14被引用数 42

ひとこと要約

本稿では、結合された占有状態とセマンティック情報を利用することで、1枚の深度画像から同時に意味的シーン補完と意味的ラベリングを実行するエンドツーエンドの3D畳み込みニューラルネットワーク、SSCNetを提案する。本手法は受容 field を拡大するための拡張率ベースの3Dコンテキストモジュールを採用し、SUNCGデータセット（密度の高いボリュームアノテーションを備えた合成で大規模な3Dシーン）を導入することで、分離されたアプローチに比べて性能が向上することを示している。

ABSTRACT

This paper focuses on semantic scene completion, a task for producing a complete 3D voxel representation of volumetric occupancy and semantic labels for a scene from a single-view depth map observation. Previous work has considered scene completion and semantic labeling of depth maps separately. However, we observe that these two problems are tightly intertwined. To leverage the coupled nature of these two tasks, we introduce the semantic scene completion network (SSCNet), an end-to-end 3D convolutional network that takes a single depth image as input and simultaneously outputs occupancy and semantic labels for all voxels in the camera view frustum. Our network uses a dilation-based 3D context module to efficiently expand the receptive field and enable 3D context learning. To train our network, we construct SUNCG - a manually created large-scale dataset of synthetic 3D scenes with dense volumetric annotations. Our experiments demonstrate that the joint model outperforms methods addressing each task in isolation and outperforms alternative approaches on the semantic scene completion task.

研究の動機と目的

• 従来の研究がシーン補完と意味的ラベリングを別々のタスクとして扱うという限界を克服し、1枚の深度マップからボリューム占有状態と物体カテゴリを同時に予測することを目的とする。
• 物体のセマンティクスと空間的占有パターンの強い結合性を活用することで、3Dシーン理解を向上させることを目的とする。
• 可視表面を超えて、遮蔽領域を含む完全な3Dシーン構造を推論できる深層学習モデルの開発を目的とする。
• 大規模で現実的で、密度の高いボリュームアノテーションを備えた合成データセットを構築し、シーン補完と意味的ラベリングの両方のモデルのトレーニングと評価を支援することを目的とする。

提案手法

• SSCNetは、カメラの視界錐体内のすべてのボクセルの占有状態と意味的ラベルを出力するエンドツーエンドの3D畳み込みネットワークであり、1枚の深度画像を入力として受ける。
• ネットワークは、受容 field を効率的に拡大するための3D拡張率ベースのコンテキストモジュールを採用しており、長距離の3D空間的コンテキストを効果的にモデル化できる。
• モデルは、45,000枚を超える3DインDoorシーンを含み、密度の高いボリュームアノテーションを備えた新規の大規模合成データセットSUNCGを用いてトレーニングされる。
• SUNCGは、個別にラベルが付与された3Dオブジェクトメッシュから構成された手動設計の3Dシーンから構築されており、ボクセル化されることで意味的ラベルを伴う密度の高い3Dシーンボリュームが生成される。
• ネットワークは、占有状態予測と意味的ラベリングの両タスクに対して共同の監視を用いてトレーニングされ、2つのタスク間の相互監視が可能になる。
• アーキテクチャは、スパarsityを考慮した3Dデータ処理を最適化し、ボリューム空間全体にわたる高解像度の特徴学習を維持するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 1枚の深度画像からボリューム占有状態と意味的ラベルを共同で予測する手法は、それぞれのタスクを別々に処理する手法を上回る性能を示せるか？
• RQ2 3D拡張率ベースのコンテキストモジュールは、シーン補完と意味的ラベリングのための長距離空間的依存関係を効果的に捉えられるか？
• RQ3 密度の高いボリュームアノテーションを備えた大規模な合成データセットは、意味的シーン補完の性能向上にどの程度寄与するか？
• RQ4 周囲の物体（例：テーブル、床）からのコンテキスト手がかりは、部分的にしか観測されない物体（例：いす）の認識と補完にどの程度寄与するか？

主な発見

• シーン補完と意味的ラベリングを別々に処理する手法に比べ、共同で予測を行うSSCNetモデルは、結合学習の利点を示している。
• 3D拡張率ベースのコンテキストモジュールの導入により、パrameterの過剰な増加を抑えながらも、受容 field を大幅に拡大し、性能向上が達成された。
• 45,600枚を超える合成3Dシーンと84種類のオブジェクトカテゴリを備えたSUNCGデータセットは、ボリュームシーン理解のための豊富で多様かつ現実的なトレーニングデータを提供している。
• SUNCGデータセットの平均的な部屋には14個以上のオブジェクトが含まれており、学習に向けた豊富なコンテキスト関係が得られる。
• モデルは、シーン補完と意味的ラベリングの両面で優れた結果を達成しており、誤検出と誤検出の少ないオクルージョン領域の可視化が示されている。
• 部分的な深度しか得られない状況でも、ベッドやいすなどのオブジェクトの完全な3D形状と意味的ラベルを正しく予測している。