[论文解读] LiDAR-PTQ: Post-Training Quantization for Point Cloud 3D Object Detection

Sifan Zhou, Liang Li+7 more|arXiv (Cornell University)|Jan 29, 2024

3D Surveying and Cultural Heritage被引用 4

一句话总结

该论文提出 LiDAR-PTQ，一种专为基于 3D LiDAR 的目标检测设计的后训练量化方法，解决了 INT8 量化中的性能下降问题。通过整合基于稀疏性的校准、任务引导的全局正损失（TGPL）以及自适应舍入机制，该方法在实现接近 FP32 模型精度的同时，获得 3 倍的推理加速与 30 倍于 QAT 的量化速度，成为 3D 检测领域 PTQ 方法的新 SOTA。

ABSTRACT

Due to highly constrained computing power and memory, deploying 3D lidar-based detectors on edge devices equipped in autonomous vehicles and robots poses a crucial challenge. Being a convenient and straightforward model compression approach, Post-Training Quantization (PTQ) has been widely adopted in 2D vision tasks. However, applying it directly to 3D lidar-based tasks inevitably leads to performance degradation. As a remedy, we propose an effective PTQ method called LiDAR-PTQ, which is particularly curated for 3D lidar detection (both SPConv-based and SPConv-free). Our LiDAR-PTQ features three main components, extbf{(1)} a sparsity-based calibration method to determine the initialization of quantization parameters, extbf{(2)} a Task-guided Global Positive Loss (TGPL) to reduce the disparity between the final predictions before and after quantization, extbf{(3)} an adaptive rounding-to-nearest operation to minimize the layerwise reconstruction error. Extensive experiments demonstrate that our LiDAR-PTQ can achieve state-of-the-art quantization performance when applied to CenterPoint (both Pillar-based and Voxel-based). To our knowledge, for the very first time in lidar-based 3D detection tasks, the PTQ INT8 model's accuracy is almost the same as the FP32 model while enjoying $3 imes$ inference speedup. Moreover, our LiDAR-PTQ is cost-effective being $30 imes$ faster than the quantization-aware training method. Code will be released at \url{https://github.com/StiphyJay/LiDAR-PTQ}.

研究动机与目标

• 解决现有 PTQ 方法在应用于稀疏、不规则的 3D LiDAR 点云时出现的严重性能下降问题。
• 开发一种后训练量化框架，在保持高检测精度的同时实现高效的边缘设备部署。
• 克服 3D LiDAR 特征图中稀疏性、大激活范围以及前景-背景类别不平衡带来的挑战。
• 实现与全精度模型相当的 SOTA 量化性能，且精度损失极小。

提出的方法

• 提出一种基于稀疏性的校准方法，通过分析 3D 点云特征的稀疏模式来初始化量化参数。
• 提出任务引导的全局正损失（TGPL），一种在校准过程中最小化全精度模型与量化模型输出差异的损失函数。
• 采用自适应舍入到最近值的操作，通过逐层优化舍入值来减少层间重建误差。
• 将该方法应用于基于 SPConv 和非 SPConv 的 3D 检测器，证明其在不同架构上的泛化能力。
• 使用一个小规模、未标注的校准集，实现无需微调的快速、数据高效的量化。
• 端到端优化量化参数，利用 TGPL 使量化模型的预测结果与原始模型的输出分布对齐。

实验结果

研究问题

• RQ1 为何标准 PTQ 方法在直接应用于基于 3D LiDAR 的目标检测模型时会失效？
• RQ2 如何有效初始化量化参数，以在稀疏的 3D 特征空间中保持模型性能？
• RQ3 何种损失函数能最好地最小化全精度模型与量化模型在 3D 检测中的预测差距？
• RQ4 自适应舍入能否提升 3D LiDAR 模型的层间重建误差与整体检测精度？
• RQ5 PTQ 在多大程度上可实现与 FP32 模型相当的 SOTA 性能，用于 3D LiDAR 检测？

主要发现

• LiDAR-PTQ 在 CenterPoint（基于柱状与体素结构）模型上，于多个数据集上实现了与全精度 FP32 模型几乎完全一致的 INT8 量化精度。
• 该方法在无显著精度损失的前提下实现了 3 倍的推理加速，支持在边缘设备上实现实时部署。
• 通过 LiDAR-PTQ 实现的量化速度比量化感知训练（QAT）快 30 倍，使其在工业部署中极具效率。
• 基于稀疏性的校准方法通过利用 3D LiDAR 特征的固有稀疏性，有效初始化了量化参数。
• TGPL 显著减少了全精度模型与量化模型之间的预测差异，提升了量化后的检测 mAP。
• LiDAR-PTQ 在基于 SPConv 和非 SPConv 的 3D 检测架构中均表现出良好的泛化能力，展现出广泛的适用性。