[论文解读] Multi-Frame to Single-Frame: Knowledge Distillation for 3D Object Detection

Yue Wang, Alireza Fathi+3 more|arXiv (Cornell University)|Sep 24, 2020

3D Shape Modeling and Analysis参考文献 14被引用 9

一句话总结

该论文提出了一种两阶段知识蒸馏框架，将基于密集多帧点云（使用真实跟踪）训练的3D目标检测器的知识迁移至单帧检测器，从而在无推理开销的前提下提升稀疏测试输入下的性能。该方法在Waymo开放数据集上实现了最先进性能，相较于单帧基线模型，行人3D检测的mAP最高提升+5.39%，车辆在0–30米范围内的mAP最高提升+3.72%。

ABSTRACT

A common dilemma in 3D object detection for autonomous driving is that high-quality, dense point clouds are only available during training, but not testing. We use knowledge distillation to bridge the gap between a model trained on high-quality inputs at training time and another tested on low-quality inputs at inference time. In particular, we design a two-stage training pipeline for point cloud object detection. First, we train an object detection model on dense point clouds, which are generated from multiple frames using extra information only available at training time. Then, we train the model's identical counterpart on sparse single-frame point clouds with consistency regularization on features from both models. We show that this procedure improves performance on low-quality data during testing, without additional overhead.

研究动机与目标

• 解决在自动驾驶3D目标检测中，训练时使用密集多帧点云而测试时使用稀疏单帧输入之间的差异问题。
• 通过利用仅在训练时可用的特权信息（如真实目标跟踪）来提升单帧检测器的性能。
• 开发一种基于蒸馏的方法，将多帧模型的知识迁移至单帧模型，且不增加推理成本。
• 在保持高效性的同时，弥合不切实际的多帧模型与实际的单帧推理之间的性能差距。

提出的方法

• 采用两阶段训练流程：首先，在使用真实边界框跟踪融合多帧生成的密集点云上训练检测器。
• 其次，在单帧稀疏点云上训练蒸馏模型，通过第一阶段模型的特征施加一致性正则化。
• 在学生模型（单帧）与教师模型（多帧）之间应用特征级一致性损失，以对齐其中间表征。
• 学生模型通过检测损失与特征一致性损失的加权组合进行训练，其中车辆的超参数λ = 0.1，行人λ = 0.01。
• 最终模型在测试时仅使用单帧输入进行部署，无额外推理开销。
• 该方法采用PointNet骨干网络，随后进行鸟瞰图（BEV）特征提取，并使用2D卷积头进行分类与回归。

实验结果

研究问题

• RQ1 知识蒸馏能否有效将多帧密集点云带来的性能增益迁移至单帧检测器？
• RQ2 在训练期间使用特权跟踪信息在多大程度上能提升模型在稀疏测试输入下的泛化能力？
• RQ3 在推理阶段无法访问多帧数据的情况下，单帧检测器能在多大程度上匹配多帧检测器的性能？
• RQ4 教师与学生模型之间的特征一致性正则化是否能提升稀疏输入下的检测准确率？

主要发现

• 蒸馏后的单帧模型在车辆检测上达到84.79% BEV mAP（IoU=0.7），相较于基线单帧模型提升+1.63%。
• 对于行人检测，蒸馏模型达到76.30% BEV mAP（IoU=0.5），较基线提升+1.82%。
• 在0–30米距离范围内，该模型在车辆检测上提升+3.72% mAP（BEV），行人检测提升+3.41%。
• 在0–30米范围内，行人3D mAP提升+5.39%，表明在近距离检测任务中表现优异。
• 模型在测试时保持24 FPS的实时推理速度，与PointPillars相当，且无额外开销。
• 蒸馏模型的性能显著接近在密集5帧点云上训练的“理想”模型（车辆BEV mAP为86.31%），表明知识迁移效果良好。