[论文解读] DSVT: Dynamic Sparse Voxel Transformer with Rotated Sets

Haiyang Wang, Shi Chen+6 more|arXiv (Cornell University)|Jan 15, 2023

Advanced Image and Video Retrieval Techniques被引用 6

一句话总结

DSVT提出了一种适用于部署的单阶段Transformer主干网络，用于3D点云感知，通过动态稀疏窗口注意力机制，利用并行、大小相等的子集划分和旋转集合划分，高效处理稀疏性并实现跨集合连接。通过TensorRT加速，该方法实现了27 Hz的实时推理，性能达到SOTA，在准确率和延迟方面均优于先前方法。

ABSTRACT

Designing an efficient yet deployment-friendly 3D backbone to handle sparse point clouds is a fundamental problem in 3D perception. Compared with the customized sparse convolution, the attention mechanism in Transformers is more appropriate for flexibly modeling long-range relationships and is easier to be deployed in real-world applications. However, due to the sparse characteristics of point clouds, it is non-trivial to apply a standard transformer on sparse points. In this paper, we present Dynamic Sparse Voxel Transformer (DSVT), a single-stride window-based voxel Transformer backbone for outdoor 3D perception. In order to efficiently process sparse points in parallel, we propose Dynamic Sparse Window Attention, which partitions a series of local regions in each window according to its sparsity and then computes the features of all regions in a fully parallel manner. To allow the cross-set connection, we design a rotated set partitioning strategy that alternates between two partitioning configurations in consecutive self-attention layers. To support effective downsampling and better encode geometric information, we also propose an attention-style 3D pooling module on sparse points, which is powerful and deployment-friendly without utilizing any customized CUDA operations. Our model achieves state-of-the-art performance with a broad range of 3D perception tasks. More importantly, DSVT can be easily deployed by TensorRT with real-time inference speed (27Hz). Code will be available at \url{https://github.com/Haiyang-W/DSVT}.

研究动机与目标

• 设计一种高效、适用于部署的3D Transformer主干网络，避免使用自定义CUDA操作处理稀疏点云。
• 解决将标准注意力机制应用于稀疏、非规则分布的3D点云的挑战。
• 在不使用填充占位符或令牌采样的前提下，实现在稀疏体素上的并行、低延迟计算。
• 通过跨层的旋转集合划分，提升子集间的连接性，增强建模能力。
• 开发一种注意力风格的3D池化模块，增强几何编码，且无需自定义核函数。

提出的方法

• 动态稀疏窗口注意力机制根据局部稀疏性将每个稀疏窗口划分为非重叠、大小相等的子集，实现完全并行计算。
• 旋转集合划分策略在连续的自注意力层之间交替使用X轴或Y轴进行划分，以实现跨子集的特征融合。
• 混合窗口划分策略在Transformer块之间交替变换窗口形状，以降低填充开销并提升多尺度特征学习能力。
• 一种注意力风格的3D池化模块通过关注稀疏体素集合来下采样特征图，无需自定义CUDA核函数即可保留几何结构。
• 通过NVIDIA TensorRT对模型进行推理优化，在标准硬件上实现实时性能。
• 所有组件均使用标准深度学习框架（如PyTorch）实现，避免使用自定义CUDA代码。

实验结果

研究问题

• RQ1 能否在不使用自定义CUDA操作的前提下，高效且有效地将标准Transformer主干网络应用于稀疏3D点云？
• RQ2 如何在保持并行性和低延迟的同时，使注意力机制适应局部3D窗口中可变的稀疏性？
• RQ3 在稀疏体素子集之间建立连接性对3D感知性能有何影响？
• RQ4 基于注意力的池化模块是否能优于传统池化方法，在稀疏3D特征学习中表现更优？
• RQ5 纯Transformer主干网络在多大程度上可实现实时推理速度与高准确率，同时在3D感知基准上达到SOTA性能？

主要发现

• DSVT在Waymo验证集上达到61.40 mAPH的性能，相比基线模型提升0.54，推理延迟为29ms，速度与准确率均优于基于桶划分的方法。
• 与随机采样相比，旋转集合划分策略使性能提升+0.83 mAPH；与非旋转区域划分相比，提升+0.54 mAPH。
• 经TensorRT部署后，DSVT实现27Hz（37ms延迟）的推理速度，与Centerpoint-Pillar速度相当，但mAPH高出8.8。
• 注意力风格的3D池化模块优于所有基线池化策略，包括对空体素使用关键掩码的方法，表明空体素也携带几何信息。
• 该模型在多个3D感知任务（包括检测与分割）中均达到SOTA性能，且计算开销极低。
• 动态稀疏窗口注意力机制相比先前基于桶划分的方法，将延迟降低近2倍，同时保持或提升建模能力。