[論文レビュー] View-volume Network for Semantic Scene Completion from a Single Depth Image

Yuxiao Guo, Xin Tong|arXiv (Cornell University)|Jun 14, 2018

Advanced Vision and Imaging参考文献 12被引用数 8

ひとこと要約

本論文では、微分可能プロジェクション層を介して高解像度2D幾何特徴と3Dコンテキストを統合することで、単一の深度画像からのセマンティックシーンコンプリートを向上させるハイブリッド2D-3D CNNフレームワーク、View-Volume Network (VVNet) を提案する。VVNetは、先行する3D-CNN手法と比較して3倍速い学習速度と7倍以上の高速な推論を達成しながら、メモリ使用量を削減し、マルチスケール特徴統合を可能にし、最先端の精度を実現した。

ABSTRACT

We introduce a View-Volume convolutional neural network (VVNet) for inferring the occupancy and semantic labels of a volumetric 3D scene from a single depth image. The VVNet concatenates a 2D view CNN and a 3D volume CNN with a differentiable projection layer. Given a single RGBD image, our method extracts the detailed geometric features from the input depth image with a 2D view CNN and then projects the features into a 3D volume according to the input depth map via a projection layer. After that, we learn the 3D context information of the scene with a 3D volume CNN for computing the result volumetric occupancy and semantic labels. With combined 2D and 3D representations, the VVNet efficiently reduces the computational cost, enables feature extraction from multi-channel high resolution inputs, and thus significantly improves the result accuracy. We validate our method and demonstrate its efficiency and effectiveness on both synthetic SUNCG and real NYU dataset.

研究の動機と目的

• 単一の深度画像から可視領域および隠蔽領域の3Dシーン構造を推論する課題に対処すること。
• 2D CNNの限界（3Dコンテキストの欠如）と3D CNNの限界（高い計算コストと低解像度）を克服すること。
• 高解像度2D特徴と3Dコンテキスト推論を統合した、エンドツーエンドで学習可能な効率的フレームワークを設計し、精度と速度を向上させること。
• モデルの複雑さ、推論速度、パフォーマンスの間のトレードオフを許容する柔軟なアーキテクチャを提供すること。

提案手法

• 本手法は、入力深度画像から高解像度の幾何特徴を抽出する2DビューCNNを使用する。
• 微分可能プロジェクション層により、深度マップの空間的レイアウトに従って2D特徴マップを3D特徴ボリュームにマッピングする。
• 3DボリュームCNNは、投影された3D特徴ボリュームを処理し、グローバルな3Dコンテキストを学習し、ボクセル単位の占有状態とセマンティックラベルを予測する。
• 段階的なVVNetはエンドツーエンドで学習可能であり、2Dおよび3D特徴学習の共同最適化を可能にする。
• フレームワークは、さまざまな2Dおよび3D CNNバックボーンをサポートしており、柔軟なアーキテクチャ設計とハイパーパramータチューニングを可能にする。
• 精度と効率のバランスを取るために、異なる解像度および深度設定を持つ複数のVVNetバリアント（例：VVNetR-120、VVNetR-60）が評価された。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド2D-3D CNNアーキテクチャは、計算コストを低減しつつ、純粋な3D-CNN手法を上回る性能を示せるか？
• RQ2 高解像度2D特徴と3Dコンテキストを統合することで、隠蔽された物体形状やセマンティックラベルの予測精度がどのように向上するか？
• RQ3 2Dバックボーンにおける受容 field のサイズが、3Dシーンコンプリート性能に与える影響は何か？
• RQ4 微分可能プロジェクション層は、幾何的忠実性を損なわずに2D特徴を3D空間に効果的に転送できるか？
• RQ5 VVNetフレームワークにおいて、モデルの深さ、解像度、推論速度の間にはどのようなトレードオフが存在するか？

主な発見

• VVNetR-120はNYUCADデータセットで80.3%のIoUを達成し、SSCNet∗を2.1%上回った。
• SUNCGデータセットでは、VVNetR-120はシーンコンプリート（SC）で1.4%、セマンティックシーンコンプリート（SSC）で5.9%のIoU向上を達成し、SSCNet∗を上回った。
• VVNetR-120は、SSCNetと比較して学習時間を3倍短縮し、推論時間を7倍以上高速化し、メモリ使用量も40%削減した。
• VVNetR-60バリアントは、SSCNetと比較して学習を4.7倍高速化し、推論を10倍以上高速化しながら、わずかな精度の低下にとどめた。
• VVNetR-120のより大きな受容 field は、SCタスクで1.9%、SSCタスクで5.4%のIoU向上をもたらした。
• 3Dボリューム解像度を低くした場合でも、VVNetR-60はSSCNetを上回る精度を維持しており、2D-3D統合戦略の有効性を示した。