[论文解读] HEDNet: A Hierarchical Encoder-Decoder Network for 3D Object Detection in Point Clouds

Gang Zhang, Junnan Chen+3 more|arXiv (Cornell University)|Oct 31, 2023

Advanced Neural Network Applications被引用 6

一句话总结

HEDNet 提出了一种用于点云中3D目标检测的层次化编码器-解码器网络，采用稀疏编码器-解码器（SED）模块捕捉长程空间依赖性，同时保持特征稀疏性，并利用密集编码器-解码器（DED）模块将特征扩展至目标中心。该方法在Waymo Open数据集上达到75.0% L2 mAPH的最先进性能，在nuScenes数据集上达到72.0% NDS，推理速度比先前基于Transformer的最先进方法快50%。

ABSTRACT

3D object detection in point clouds is important for autonomous driving systems. A primary challenge in 3D object detection stems from the sparse distribution of points within the 3D scene. Existing high-performance methods typically employ 3D sparse convolutional neural networks with small kernels to extract features. To reduce computational costs, these methods resort to submanifold sparse convolutions, which prevent the information exchange among spatially disconnected features. Some recent approaches have attempted to address this problem by introducing large-kernel convolutions or self-attention mechanisms, but they either achieve limited accuracy improvements or incur excessive computational costs. We propose HEDNet, a hierarchical encoder-decoder network for 3D object detection, which leverages encoder-decoder blocks to capture long-range dependencies among features in the spatial space, particularly for large and distant objects. We conducted extensive experiments on the Waymo Open and nuScenes datasets. HEDNet achieved superior detection accuracy on both datasets than previous state-of-the-art methods with competitive efficiency. The code is available at https://github.com/zhanggang001/HEDNet.

研究动机与目标

• 为解决在稀疏3D点云中捕捉长程空间依赖性的挑战，特别是针对大尺寸和远距离目标。
• 克服子流形稀疏卷积的局限性，后者限制了空间上分离特征之间的信息交换。
• 设计一种高效的主干网络，在不产生高计算成本的前提下捕捉全局上下文，避免大型卷积核CNN或Transformer带来的高开销。
• 探索在稀疏3D CNN主干网络中应用编码器-解码器架构，这是3D目标检测领域的一项新方法。
• 通过多尺度特征融合与空间上下文建模，提升对大尺寸和远距离目标的检测精度。

提出的方法

• 提出一种稀疏编码器-解码器（SED）模块，通过编码器中的特征下采样和解码器中的多尺度特征融合，在保持输入输出稀疏性的同时捕捉长程依赖关系。
• 引入一种密集编码器-解码器（DED）模块，将稀疏特征向目标中心扩展，以提升对大尺寸和远距离目标的定位精度。
• 通过堆叠SED和DED模块构建HEDNet，实现层次化编码器-解码器网络，支持多尺度特征学习与上下文建模。
• 采用包含SED模块的3D主干网络进行分层特征提取，以及包含DED模块的结构用于优化目标中心附近的特征，从而提升检测精度。
• 使用两阶段检测头，基于分层主干网络提取的特征预测边界框和类别得分。
• 通过标准数据增强和训练协议，将网络适配至Waymo Open和nuScenes数据集。

实验结果

研究问题

• RQ1 编码器-解码器结构能否被有效适配于稀疏3D卷积网络，以改善长程特征学习？
• RQ2 将子流形稀疏残差块替换为稀疏编码器-解码器块，是否能提升对大尺寸和远距离3D目标的检测精度？
• RQ3 所提方法能否在计算成本低于大型卷积核CNN或基于Transformer的主干网络的前提下，实现最先进性能？
• RQ4 编码器-解码器架构中的多尺度特征融合如何影响不同尺寸和距离目标的检测性能？
• RQ5 层次化设计在多大程度上提升了对点云稀疏目标的定位精度？

主要发现

• HEDNet在Waymo Open测试集上达到75.0% L2 mAPH，超越先前使用大型卷积核CNN或Transformer的最先进方法。
• 在nuScenes数据集上，HEDNet达到72.0% NDS，创下新最先进性能，较先前最先进方法DSVT高出1.3% mAPH。
• HEDNet比DSVT（基于Transformer的最先进方法）快50%，同时实现更高精度，证明其在精度-效率权衡上具有显著优势。
• 采用三尺度SED模块的模型优于单尺度变体，表明多尺度特征学习可有效提升检测性能。
• HEDNet在大尺寸目标（如车辆）和远距离目标上表现显著提升，表明上下文信息对准确检测至关重要。
• 定性结果表明，与单尺度变体HEDNet-single相比，HEDNet能预测更精确的边界框，并对稀疏目标的方向估计更优。