[论文解读] Anisotropic Convolutional Networks for 3D Semantic Scene Completion

Jie Li, Kai Han+3 more|arXiv (Cornell University)|Apr 5, 2020

Advanced Vision and Imaging参考文献 24被引用 14

一句话总结

该论文提出了一种用于3D语义场景补全的各向异性卷积网络（AIC-Net），引入了一种新颖的各向异性卷积模块，通过将3D卷积分解为沿x、y、z轴的三个1D卷积，并采用可学习的核大小组合，自适应地学习体素级感受野。该方法在NYU-Depth-v2和NYUCAD基准上实现了最先进性能，相较于标准3D卷积，在准确率和参数效率方面均有提升。

ABSTRACT

As a voxel-wise labeling task, semantic scene completion (SSC) tries to simultaneously infer the occupancy and semantic labels for a scene from a single depth and/or RGB image. The key challenge for SSC is how to effectively take advantage of the 3D context to model various objects or stuffs with severe variations in shapes, layouts and visibility. To handle such variations, we propose a novel module called anisotropic convolution, which properties with flexibility and power impossible for the competing methods such as standard 3D convolution and some of its variations. In contrast to the standard 3D convolution that is limited to a fixed 3D receptive field, our module is capable of modeling the dimensional anisotropy voxel-wisely. The basic idea is to enable anisotropic 3D receptive field by decomposing a 3D convolution into three consecutive 1D convolutions, and the kernel size for each such 1D convolution is adaptively determined on the fly. By stacking multiple such anisotropic convolution modules, the voxel-wise modeling capability can be further enhanced while maintaining a controllable amount of model parameters. Extensive experiments on two SSC benchmarks, NYU-Depth-v2 and NYUCAD, show the superior performance of the proposed method. Our code is available at https://waterljwant.github.io/SSC/

研究动机与目标

• 为解决在物体形状、布局和可见性存在严重差异的3D场景中建模上下文的挑战。
• 克服固定感受野3D卷积在捕捉多样化空间结构方面的局限性。
• 开发一种参数高效、灵活的替代方案，用于标准3D卷积的3D语义标注。
• 实现与现有3D CNN架构的即插即用集成，以提升场景补全性能。
• 在语义场景补全基准上实现更优性能，同时降低计算成本。

提出的方法

• 提出各向异性卷积（AIC）模块，将3D卷积分解为沿x、y、z轴的三个连续1D卷积。
• 每个1D卷积使用一组候选核大小（例如{3,5,7}），并为每个体素学习融合权重，以形成自适应的各向异性感受野。
• 核大小选择以体素为单位进行，实现基于局部场景几何和语义的动态上下文建模。
• AIC模块采用瓶颈结构，降低通道维度（D′），以保持参数效率。
• AIC-Net架构堆叠多个AIC模块，并结合2D特征提取与3D特征投影，实现端到端学习。
• 网络采用逐点卷积和跳跃连接，以保持特征保真度并支持深度监督。

实验结果

研究问题

• RQ1 自适应的、体素级的感受野是否能在高物体可变性条件下提升3D语义场景补全性能？
• RQ2 各向异性卷积在建模复杂3D场景结构方面与标准3D卷积相比表现如何？
• RQ3 各向异性卷积在保持或提升性能的同时，能在多大程度上减少模型参数量和计算量？
• RQ4 AIC模块能否作为标准3D卷积的即插即用替代品，在现有网络中有效使用？
• RQ5 所提出方法在不同3D场景补全基准上是否具有良好的泛化能力？

主要发现

• AIC-Net在NYU-Depth-v2和NYUCAD两个基准上均实现了最先进性能，优于现有方法（包括SSCNet和DDRNet）。
• 在NYU-Depth-v2上，该方法实现了64.7%的平均交并比（mIoU），显著高于之前的SOTA结果。
• 在NYUCAD上，mIoU达到62.1%，表明其在具有多样化场景布局的数据集上具有强大的泛化能力。
• 与标准3D卷积相比，AIC模块在保持或提升准确率的同时，显著减少了参数量和FLOPs。
• 定性结果表明，AIC-Net生成的3D语义预测更清晰、更准确，形状和类别一致性更好。
• 消融研究证实，自适应核大小选择与1D分解是该方法在建模复杂3D结构方面取得成功的关键因素。