[论文解读] LMSCNet: Lightweight Multiscale 3D Semantic Completion

Luis Roldão, Raoul de Charette+1 more|arXiv (Cornell University)|Aug 24, 2020

3D Shape Modeling and Analysis参考文献 51被引用 134

一句话总结

LMSCNet 提出了一种轻量级、多尺度的3D语义场景补全网络，采用2D UNet主干网络结合3D分割头，在保持显著减少参数量和推理时间的同时，实现了SemanticKITTI基准上的最先进性能。通过沿高度轴使用2D卷积和空洞3D卷积，该方法实现了快速、粗粒度的推理——在1:8分辨率下最高可达372 FPS，且不损失精度。

ABSTRACT

We introduce a new approach for multiscale 3Dsemantic scene completion from voxelized sparse 3D LiDAR scans. As opposed to the literature, we use a 2D UNet backbone with comprehensive multiscale skip connections to enhance feature flow, along with 3D segmentation heads. On the SemanticKITTI benchmark, our method performs on par on semantic completion and better on occupancy completion than all other published methods -- while being significantly lighter and faster. As such it provides a great performance/speed trade-off for mobile-robotics applications. The ablation studies demonstrate our method is robust to lower density inputs, and that it enables very high speed semantic completion at the coarsest level. Our code is available at https://github.com/cv-rits/LMSCNet.

研究动机与目标

• 解决在稀疏3D语义场景补全中3D CNN带来的高计算成本和内存开销问题。
• 通过稀疏LiDAR输入，为移动机器人和自动驾驶应用实现实时推理。
• 尽管使用2D卷积而非完整3D卷积，仍保持语义标注和场景补全的高精度。
• 引入多尺度推理流程，支持无需微调的快速粗粒度补全。
• 在低密度LiDAR扫描下表现出鲁棒性，模拟真实世界传感器限制。

提出的方法

• 使用沿高度轴进行2D卷积的2D UNet式编码器-解码器主干网络，以降低计算成本。
• 在网络末端使用3D卷积头，从2D特征图预测密集的3D语义标签。
• 在3D头中集成空洞空间金字塔池化（ASPP）模块，以扩大感受野并丰富特征。
• 在所有解码器层级之间引入多尺度跳跃连接，以增强特征流动和上下文理解。
• 通过剪枝深层解码器分支实现多尺度推理，支持在降低复杂度下快速生成粗粒度预测（1:2、1:4、1:8）。
• 使用来自LiDAR扫描的稀疏体素化输入，无需预处理（如无需TSDF或SDF转换），保留原始占据网格。

实验结果

研究问题

• RQ1 基于2D主干网络并结合3D头，能否在显著快于3D-CNN基线的同时，实现具有竞争力的3D语义场景补全性能？
• RQ2 多尺度推理能力如何影响3D语义补全中的速度-精度权衡？
• RQ3 该模型在低密度LiDAR输入下（模拟真实世界传感器限制）的鲁棒性如何？
• RQ4 沿一个轴使用2D卷积是否会损害3D空间连通性及整体性能？
• RQ5 轻量化架构是否能在补全和语义分割指标上均优于更重的模型？

主要发现

• LMSCNet 在 SemanticKITTI 基准上实现了最先进性能，补全任务的IoU达到54.22%，语义分割的mIoU为16.78%，在补全任务上优于先前方法，且在语义分割上保持匹配或超越。
• 在1:8分辨率下，模型推理速度达372 FPS，比TS3D+DNet+SATNet快300倍，比SSCNet快6倍，展现出粗粒度推理的卓越速度。
• 尽管使用2D卷积，模型仍保持强劲性能——移除ASPP后mIoU仅下降0.41%，使用普通UNet解码器而非多尺度版本时，补全IoU仅下降0.68%。
• 模型对低输入密度具有鲁棒性：在仅8层LiDAR输入（密度2.10%）下，仍能以合理精度恢复出场景的整体轮廓。
• 完整规模的LMSCNet仅含0.35M参数和72.6 GFLOPs，相比SSCNet-full参数量减少5倍、速度提升10倍，且在补全指标上表现更优。
• 消融实验表明，转置卷积层对性能有贡献（无此层时IoU下降1.43%），而多尺度UNet解码器使补全性能提升0.68%，语义分割提升0.56%。