[论文解读] Generative Sparse Detection Networks for 3D Single-shot Object Detection

JunYoung Gwak, Christopher Choy+1 more|arXiv (Cornell University)|Jun 22, 2020

Human Pose and Action Recognition被引用 6

一句话总结

本文提出生成式稀疏检测网络（GSDN），一种全卷积单次3D目标检测框架，采用生成式稀疏张量解码器高效扩展稀疏特征支撑以生成目标提议。GSDN在S3DIS和ScanNet等大规模3D室内数据集上实现了最先进性能，mAP相对提升7.14%，推理速度提升3.78倍，同时保持低内存占用，并可扩展至包含7800万点的场景。

ABSTRACT

3D object detection has been widely studied due to its potential applicability to many promising areas such as robotics and augmented reality. Yet, the sparse nature of the 3D data poses unique challenges to this task. Most notably, the observable surface of the 3D point clouds is disjoint from the center of the instance to ground the bounding box prediction on. To this end, we propose Generative Sparse Detection Network (GSDN), a fully-convolutional single-shot sparse detection network that efficiently generates the support for object proposals. The key component of our model is a generative sparse tensor decoder, which uses a series of transposed convolutions and pruning layers to expand the support of sparse tensors while discarding unlikely object centers to maintain minimal runtime and memory footprint. GSDN can process unprecedentedly large-scale inputs with a single fully-convolutional feed-forward pass, thus does not require the heuristic post-processing stage that stitches results from sliding windows as other previous methods have. We validate our approach on three 3D indoor datasets including the large-scale 3D indoor reconstruction dataset where our method outperforms the state-of-the-art methods by a relative improvement of 7.14% while being 3.78 times faster than the best prior work.

研究动机与目标

• 为解决稀疏3D目标检测中3D点云表面与目标中心位置之间支持不连续的问题。
• 通过单次前向传播实现全场景推理，消除大规模3D检测中滑动窗口裁剪与后处理拼接的需要。
• 开发一种内存与计算效率高的方法，可在不牺牲点密度或感受野的前提下扩展至极大规模3D场景。
• 通过直接从稀疏特征生成目标中心，提升对细小或薄结构的检测精度。

提出的方法

• 该方法采用分层稀疏张量编码器，利用稀疏卷积从3D点云中提取深层多尺度特征。
• 生成式稀疏张量解码器使用转置卷积与剪枝层，将稀疏特征的支持范围上采样并扩展，以覆盖潜在的目标中心位置。
• 解码器通过迭代方式生成候选目标中心，同时剔除低置信度区域，从而保持最小的内存与运行时开销。
• 网络为全卷积结构，可在无需窗口划分或拼接的情况下对整个大规模场景实现端到端推理。
• 与先前方法不同，该模型在所有场景中保持恒定的输入点云密度，确保大规模下特征质量的一致性。
• 目标提议直接从扩展后的稀疏张量预测，实现无需后处理的单次检测。

实验结果

研究问题

• RQ1 全卷积3D目标检测器是否能在无需滑动窗口裁剪或后处理拼接的情况下，实现对大规模稀疏3D场景的高精度与高效率检测？
• RQ2 当输入点云仅覆盖物体表面而未包含中心位置时，稀疏张量网络如何有效生成目标中心提议？
• RQ3 在不进行架构修改的情况下，仅在单层扫描数据上训练的模型，其泛化能力在多层、大规模建筑场景中能达到何种程度？
• RQ4 在处理具有稀疏表示的极大规模3D场景时，检测精度、推理速度与内存使用之间的权衡关系如何？
• RQ5 在3D目标检测基准上，生成式稀疏解码是否能在精度与效率两方面均优于传统锚框生成方法？

主要发现

• 与先前最先进方法相比，GSDN在大规模S3DIS数据集上的mAP@0.5实现了7.14%的相对提升。
• 该模型比最佳先前工作快3.78倍，ScanNet v2数据集上单场景推理时间仅为0.12秒。
• GSDN在所有场景中保持恒定的点云密度，而先前方法会下采样点，从而在大规模场景中确保一致的特征质量。
• 网络仅使用5GB GPU内存，即可在单次前向传播中处理整个S3DIS建筑5（7800万点，13,984m³，53间房）。
• GSDN无需微调或后处理即可泛化至多层建筑，如三楼的Gibson环境场景Uvalda（140万点，173m²）。
• 内存使用量保持低位且与场景大小呈亚线性增长，运行时间随点数线性增长，展现出优异的可扩展性。