[论文解读] LIGA-Stereo: Learning LiDAR Geometry Aware Representations for Stereo-based 3D Detector

Xiaoyang Guo, Shaoshuai Shi+2 more|arXiv (Cornell University)|Aug 18, 2021

Advanced Neural Network Applications参考文献 9被引用 7

一句话总结

LIGA-Stereo 提出了一种基于立体视觉的3D目标检测新框架，通过利用基于激光雷达的教师模型提取的几何感知特征，提升立体检测器的性能。通过蒸馏高层3D几何表征并添加直接的2D检测头以实现语义监督，该方法在KITTI基准上实现了10.44%、5.69%和5.97%的mAP提升，分别对应汽车、行人和自行车类别，达到当前最优性能。

ABSTRACT

Stereo-based 3D detection aims at detecting 3D object bounding boxes from stereo images using intermediate depth maps or implicit 3D geometry representations, which provides a low-cost solution for 3D perception. However, its performance is still inferior compared with LiDAR-based detection algorithms. To detect and localize accurate 3D bounding boxes, LiDAR-based models can encode accurate object boundaries and surface normal directions from LiDAR point clouds. However, the detection results of stereo-based detectors are easily affected by the erroneous depth features due to the limitation of stereo matching. To solve the problem, we propose LIGA-Stereo (LiDAR Geometry Aware Stereo Detector) to learn stereo-based 3D detectors under the guidance of high-level geometry-aware representations of LiDAR-based detection models. In addition, we found existing voxel-based stereo detectors failed to learn semantic features effectively from indirect 3D supervisions. We attach an auxiliary 2D detection head to provide direct 2D semantic supervisions. Experiment results show that the above two strategies improved the geometric and semantic representation capabilities. Compared with the state-of-the-art stereo detector, our method has improved the 3D detection performance of cars, pedestrians, cyclists by 10.44%, 5.69%, 5.97% mAP respectively on the official KITTI benchmark. The gap between stereo-based and LiDAR-based 3D detectors is further narrowed.

研究动机与目标

• 通过改进立体网络中的几何与语义特征学习，弥合基于立体视觉与基于激光雷达的3D检测器之间的性能差距。
• 克服立体检测器中间接3D监督的局限性，该局限性因深度估计误差导致语义特征学习效果差。
• 通过利用预训练的基于激光雷达检测器的高层几何感知特征作为教师模型，增强特征表示能力。
• 通过在立体检测器训练过程中引入激光雷达特征作为正则化手段，减少过拟合并提升泛化能力。
• 通过在辅助检测头中引入直接2D语义监督，提升检测召回率，尤其针对稀有类别如自行车骑行者。

提出的方法

• 提出一种知识蒸馏策略，将立体检测器的中间3D特征与鸟瞰图（BEV）特征与基于激光雷达的教师模型的对应特征对齐，重点聚焦于几何感知表征。
• 采用多阶段特征模仿损失，将激光雷达模型的高层特征知识（包括表面法线方向与目标边界线索）进行迁移。
• 在2D语义特征流上附加一个辅助2D检测头，以提供直接的语义学习监督，绕过易出错的3D监督。
• 应用基于前景掩码的特征模仿，聚焦于相关区域，避免背景特征带来的负面影响。
• 优化模仿损失权重（λim），以平衡几何引导与检测性能，发现λim = 1.0为最优。
• 使用ImageNet预训练权重初始化2D骨干网络，以提升初始语义特征质量，尤其对低资源类别具有显著帮助。

Figure 1: Our method utilizes superior geometry-aware features from LiDAR-based 3D detection models to guide the training of stereo-based 3D detectors.

实验结果

研究问题

• RQ1 来自基于激光雷达检测器的高层几何感知特征是否能提升基于立体视觉的3D检测器的几何表征学习能力？
• RQ2 通过辅助检测头实现的直接2D语义监督，是否相比间接3D监督能带来更优的语义特征学习效果？
• RQ3 激光雷达特征蒸馏在多大程度上能缩小基于立体视觉与基于激光雷达的3D检测之间的性能差距？
• RQ4 基于前景掩码的特征模仿如何影响立体检测器训练的鲁棒性与准确性？
• RQ5 几何蒸馏与直接2D监督的结合是否能显著提升对稀有类别（如自行车骑行者）的检测性能？

主要发现

• 所提出的LIGA-Stereo方法在KITTI 3D检测基准上，相较于当前最优的立体检测器，实现了汽车类别10.44%、行人类别5.69%、自行车骑行者类别5.97%的mAP提升。
• 结合3D体素特征与聚合BEV特征，并使用前景掩码进行特征模仿（λim = 1.0）时性能最佳，分别使汽车、行人与自行车骑行者类别的mAP提升2.9%、5.2%与6.9%。
• 移除前景掩码（w/o Mfg）后性能提升可忽略，证实聚焦于目标区域对有效蒸馏至关重要。
• 最优模仿损失权重λim = 1.0在几何引导与检测精度之间实现最佳平衡，过高或过低的值均导致性能下降。
• 添加直接2D检测头后，自行车骑行者类别的3D AP从26.77%提升至30.26%，显著改善了低资源类别的检测性能。
• 使用ImageNet预训练权重后，2D检测头在汽车、行人与自行车骑行者类别上分别达到92%、54%与41%的AP，证实预训练对语义特征学习具有重要价值。

Figure 2: The framework of our stereo-based 3D detection algorithm. (a) The stereo matching network which takes a stereo image pair as inputs and outputs a feature volume in 3D space. (b) and (d) share the same structure, which detects 3D objects from dense / sparse 3D feature volumes, respectively.