[论文解读] RGBD Based Dimensional Decomposition Residual Network for 3D Semantic Scene Completion

Jie Li, Yu Liu+5 more|arXiv (Cornell University)|Mar 2, 2019

Advanced Vision and Imaging参考文献 43被引用 12

一句话总结

该论文提出了一种基于RGBD的轻量化3D语义场景补全网络，采用维度分解残差（DDR）模块并融合多尺度的RGB与深度特征。通过分解3D卷积并跨尺度融合模态特诊，该方法在NYU和NYUCAD数据集上实现了最先进性能，参数量比SSCNet减少21%，浮点运算量（FLOPs）减少16.6%，SC-IoU提升5.9%，SSC-IoU提升5.7%。

ABSTRACT

RGB images differentiate from depth images as they carry more details about the color and texture information, which can be utilized as a vital complementary to depth for boosting the performance of 3D semantic scene completion (SSC). SSC is composed of 3D shape completion (SC) and semantic scene labeling while most of the existing methods use depth as the sole input which causes the performance bottleneck. Moreover, the state-of-the-art methods employ 3D CNNs which have cumbersome networks and tremendous parameters. We introduce a light-weight Dimensional Decomposition Residual network (DDR) for 3D dense prediction tasks. The novel factorized convolution layer is effective for reducing the network parameters, and the proposed multi-scale fusion mechanism for depth and color image can improve the completion and segmentation accuracy simultaneously. Our method demonstrates excellent performance on two public datasets. Compared with the latest method SSCNet, we achieve 5.9% gains in SC-IoU and 5.7% gains in SSC-IOU, albeit with only 21% network parameters and 16.6% FLOPs employed compared with that of SSCNet.

研究动机与目标

• 为解决仅依赖深度输入导致3D语义场景补全（SSC）性能瓶颈的问题。
• 降低3D卷积神经网络（CNN）的计算成本，因其通常参数量大、计算开销高。
• 通过多尺度特征融合，有效融合RGB与深度模态，提升SSC精度。
• 设计一种轻量化架构，在参数和FLOPs更少的情况下保持高性能。

提出的方法

• 提出维度分解残差（DDR）模块，通过分解3D卷积显著减少模型参数，且不损失性能。
• 采用多尺度融合机制，在网络多个层级无缝结合RGB与深度输入的特征。
• 基于DDR模块设计轻量化空洞空间金字塔池化（LW-ASPP）模块，捕获多尺度上下文信息，同时最小化参数增长。
• 设计端到端训练框架，联合优化3D形状补全与语义分割任务。
• 应用截断有符号距离函数（TSDF）编码3D场景体素，实现精确的几何表示。
• 采用残差学习框架，稳定训练过程，并提升深层网络中的特征表示能力。

实验结果

研究问题

• RQ1 因子化3D卷积模块是否能在保持或提升性能的同时显著减少网络参数，适用于3D密集预测任务？
• RQ2 RGB与深度特征在多尺度上能否有效融合，以增强3D场景补全与语义标注性能？
• RQ3 采用DDR模块与LW-ASPP的轻量化网络是否能在准确率与效率上超越更重的SOTA模型（如SSCNet）？
• RQ4 RGB与深度模态在3D语义场景补全中互补程度如何？
• RQ5 更小的网络是否能在显著降低FLOPs与参数量的同时，实现相当或更优的性能？

主要发现

• 所提出的DDR网络在NYU与NYUCAD数据集上，SC-IoU比SSCNet高出5.9%，SSC-IoU高出5.7%。
• 尽管仅使用SSCNet 21%的参数量和16.6%的FLOPs，DDR网络在补全与分割精度上均优于SSCNet。
• RGB与深度特征的多尺度融合显著提升性能，其中RGB主要提升语义准确性，深度主要增强几何一致性。
• 消融实验证实，仅使用深度或RGB输入时性能更低（SSC-IoU分别为28.9%与27.2%），证明模态融合的有效性。
• 与无ASPP相比，LW-ASPP模块使SC-IoU提升3.2%，SSC-IoU提升3.6%，同时保持低参数量。
• DDRNet在GTX 1080ti上实现44 FPS的推理速度，远快于SSCNet（0.7 FPS），且显存占用更低，仅带来轻微精度损失。