[论文解读] Cascaded Context Pyramid for Full-Resolution 3D Semantic Scene Completion

Pingping Zhang, Wei Liu+3 more|arXiv (Cornell University)|Aug 1, 2019

Advanced Vision and Imaging参考文献 40被引用 9

一句话总结

本文提出了一种轻量级、全分辨率的3D语义场景补全框架——级联上下文金字塔网络（CCPNet），通过自级联上下文金字塔建模多尺度3D空间上下文，并引入引导残差精炼（GRR）模块，利用低级特征恢复精细结构细节。该方法在合成数据集（SUNCG）和真实世界数据集（NYU）上均实现了最先进性能，同时显著降低了内存和计算成本。

ABSTRACT

Semantic Scene Completion (SSC) aims to simultaneously predict the volumetric occupancy and semantic category of a 3D scene. It helps intelligent devices to understand and interact with the surrounding scenes. Due to the high-memory requirement, current methods only produce low-resolution completion predictions, and generally lose the object details. Furthermore, they also ignore the multi-scale spatial contexts, which play a vital role for the 3D inference. To address these issues, in this work we propose a novel deep learning framework, named Cascaded Context Pyramid Network (CCPNet), to jointly infer the occupancy and semantic labels of a volumetric 3D scene from a single depth image. The proposed CCPNet improves the labeling coherence with a cascaded context pyramid. Meanwhile, based on the low-level features, it progressively restores the fine-structures of objects with Guided Residual Refinement (GRR) modules. Our proposed framework has three outstanding advantages: (1) it explicitly models the 3D spatial context for performance improvement; (2) full-resolution 3D volumes are produced with structure-preserving details; (3) light-weight models with low-memory requirements are captured with a good extensibility. Extensive experiments demonstrate that in spite of taking a single-view depth map, our proposed framework can generate high-quality SSC results, and outperforms state-of-the-art approaches on both the synthetic SUNCG and real NYU datasets.

研究动机与目标

• 解决现有3D语义场景补全（SSC）方法因高内存和计算成本导致输出分辨率低、丢失精细几何细节的局限性。
• 通过自级联方式显式建模多尺度3D空间上下文，提升预测的一致性和准确性。
• 通过引入轻量级、特征引导的残差精炼机制，无需依赖复杂的3D CNN，实现对精细结构对象细节的恢复。
• 在低内存占用和快速推理的前提下，实现高质量的全分辨率3D补全结果，支持实际部署。

提出的方法

• 提出一种级联上下文金字塔（CCP）模块，通过自级联结构分层聚合多尺度3D空间上下文，增强空间一致性并减少语义鸿沟。
• 引入一种引导残差精炼（GRR）模块，利用低级特征和轻量级残差连接逐步优化3D预测，提升细节恢复能力，且不增加计算成本。
• 采用轻量级3D空洞编码器，使用分离卷积核以减少模型参数量和FLOPs，同时保持特征表示能力。
• 使用带有跳跃连接的转解码器结构，从编码特征重建全分辨率3D体素。
• 设计网络以处理单视角深度图像，并在3D体素网格中联合预测占据状态和语义标签。
• 通过最小化参数量和FLOPs优化架构，实现快速推理和良好的可扩展性。

实验结果

研究问题

• RQ1 自级联上下文金字塔能否有效建模多尺度3D空间上下文，从而提升3D场景补全中的语义一致性？
• RQ2 如何在不依赖深度、内存密集型3D CNN的前提下，恢复全分辨率3D输出中的精细结构对象细节？
• RQ3 与标准残差块相比，所提出的引导残差精炼（GRR）模块在多大程度上提升了细节恢复能力？
• RQ4 多尺度上下文建模与局部细节精炼的结合是否能在合成与真实世界基准上均带来更优性能？
• RQ5 轻量级3D网络是否能在显著降低内存和计算成本的同时，实现最先进精度？

主要发现

• 在SUNCG数据集上，CCPNet实现了41.3%的SSC-IoU，优于最先进方法如SSCNet（24.7%）和VVNet（32.9%）。
• 所提方法将模型参数量减少至89k，FLOPs降低至11.8G，相比SSCNet（930k参数，163.8G FLOPs）显著降低了计算成本。
• 将级联上下文金字塔替换为PPM或ASPP后，SC-IoU分别下降4.1%和2.3%，证明了所提CCP模块的优越性。
• 与仅使用基础残差块（BRBs）相比，GRR模块使SSC-IoU提升了8.4%，完整GRR配置表现最佳。
• 全分辨率推理相比半分辨率和四分之一分辨率变体，SSC-IoU分别提升5.1%和4.9%，证明保留几何细节的优势。
• 消融研究证实，GRR模块中的引导机制与特征增强对准确细节恢复至关重要，移除后性能显著下降。