[論文レビュー] Cascaded Context Pyramid for Full-Resolution 3D Semantic Scene Completion

Pingping Zhang, Wei Liu+3 more|arXiv (Cornell University)|Aug 1, 2019

Advanced Vision and Imaging参考文献 40被引用数 9

ひとこと要約

本稿では、自己級付きコンテキストピラミッドを用いてマルチスケール3次元空間的コンテキストをモデル化し、低レベル特徴を用いて細かい構造的詳細を回復するガイド付き残差精錬（GRR）モジュールを備えた、軽量でフル解像度の3次元セマンティックシーンコンプリートフレームワーク、Cascaded Context Pyramid Network（CCPNet）を提案する。本手法は、合成データ（SUNCG）および実世界データ（NYU）の両方で最先端の性能を達成し、メモリと計算コストを顕著に削減した。

ABSTRACT

Semantic Scene Completion (SSC) aims to simultaneously predict the volumetric occupancy and semantic category of a 3D scene. It helps intelligent devices to understand and interact with the surrounding scenes. Due to the high-memory requirement, current methods only produce low-resolution completion predictions, and generally lose the object details. Furthermore, they also ignore the multi-scale spatial contexts, which play a vital role for the 3D inference. To address these issues, in this work we propose a novel deep learning framework, named Cascaded Context Pyramid Network (CCPNet), to jointly infer the occupancy and semantic labels of a volumetric 3D scene from a single depth image. The proposed CCPNet improves the labeling coherence with a cascaded context pyramid. Meanwhile, based on the low-level features, it progressively restores the fine-structures of objects with Guided Residual Refinement (GRR) modules. Our proposed framework has three outstanding advantages: (1) it explicitly models the 3D spatial context for performance improvement; (2) full-resolution 3D volumes are produced with structure-preserving details; (3) light-weight models with low-memory requirements are captured with a good extensibility. Extensive experiments demonstrate that in spite of taking a single-view depth map, our proposed framework can generate high-quality SSC results, and outperforms state-of-the-art approaches on both the synthetic SUNCG and real NYU datasets.

研究の動機と目的

• 既存の3次元セマンティックシーンコンプリート（SSC）手法が、高いメモリと計算コストのため、低解像度の出力を生成し、細かい幾何的詳細を失うという限界を是正すること。
• 自己級付き構造を用いてマルチスケール3次元空間的コンテキストを明示的にモデル化することで、予測の整合性と精度を向上させること。
• 高価な3次元畳み込みニューラルネットワーク（3D CNN）に依存せずに、軽量で特徴をガイドする残差精錬機構を導入することで、細かい構造的オブジェクトの詳細を回復すること。
• 低メモリフットプリントと高速な推論を実現することで、実用的導入が可能な高品質なフル解像度3次元コンプリート結果を達成すること。

提案手法

• 自己級付き構造を通じて階層的にマルチスケール3次元空間的コンテキストを統合する、Cascaded Context Pyramid（CCP）モジュールを提案し、空間的一致性を向上させ、意味的ギャップを低減する。
• 低レベル特徴と軽量な残差接続を用いて3次元予測を段階的に精錬する、Guided Residual Refinement（GRR）モジュールを導入し、計算コストを増加させることなく詳細回復を向上させる。
• 分離された畳み込みカーネルを用いた軽量な3次元拡張エンコーダーを採用し、モデルパラメータとFLOPsを削減しながらも、特徴表現能力を維持する。
• スキップ接続を備えたデコンボリューションデコーダーを用いて、エンコードされた特徴からフル解像度の3次元ボリュームを再構成する。
• 単一のビュー深度画像を処理し、3次元ボクセルグリッド上で同時に占有状態とセマンティックラベルを予測するようにネットワークを設計する。
• パラメータとFLOPsを最小限に抑えることで、高速な推論と優れた拡張性を実現するようにアーキテクチャを最適化する。

実験結果

リサーチクエスチョン

• RQ1 自己級付きコンテキストピラミッドは、3次元シーンコンプリートにおける意味的一致性を向上させるために、マルチスケール3次元空間的コンテキストを効果的にモデル化できるか？
• RQ2 深くメモリを食う3次元畳み込みニューラルネットワーク（3D CNN）に依存せずに、フル解像度の3次元出力において細かい構造的オブジェクトの詳細をどのように回復できるか？
• RQ3 提案されたガイド付き残差精錬（GRR）モジュールは、標準的な残差ブロックと比較して、どの程度詳細回復を向上させるか？
• RQ4 マルチスケールコンテキストモデリングと局所的詳細精錬の統合が、合成および実世界のベンチマークの両方で優れた性能をもたらすか？
• RQ5 軽量な3次元ネットワークは、顕著にメモリと計算コストを削減しながらも、最先端の精度を達成できるか？

主な発見

• SUNCGデータセットでは、CCPNetが41.3%のSSC-IoUを達成し、SSCNet（24.7%）やVVNet（32.9%）といった最先端手法を上回った。
• 提案手法はモデルパラメータを89kに、FLOPsを11.8Gにまで削減し、SSCNet（930kパラメータ、163.8G FLOPs）と比較して顕著に計算コストを低減した。
• 級付きコンテキストピラミッドをPPMやASPPに置き換えると、それぞれ4.1%および2.3%のSSC-IoU低下が生じ、CCPモジュールの優位性を示した。
• GRRモジュールは、基本的な残差ブロック（BRBs）のみを用いた場合と比較して、SSC-IoUを8.4%向上させ、完全なGRR構成が最良の性能を達成した。
• フル解像度推論は、半分解像度と比較して5.1%、四分の一つ解像度と比較して4.9%のSSC-IoU向上を示し、幾何的詳細の保持の利点を裏付けた。
• アブレーションスタディにより、GRRモジュールにおけるガイドと特徴拡大が正確な詳細回復に不可欠であることが確認され、それらを除去すると顕著な性能低下が生じた。