[论文解读] Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of Adverse Weather Conditions for 3D Object Detection

Velat Kilic, Deepti Hegde+4 more|arXiv (Cornell University)|Jul 14, 2021

Remote Sensing and LiDAR Applications参考文献 27被引用 39

一句话总结

LISA 引入一个基于物理的混合蒙特卡洛模拟器，用以在 LiDAR 扫描中加入不良天气效应（雨、雪、雾），从而提升 3D 目标检测器。

ABSTRACT

Lidar-based object detectors are critical parts of the 3D perception pipeline in autonomous navigation systems such as self-driving cars. However, they are known to be sensitive to adverse weather conditions such as rain, snow and fog due to reduced signal-to-noise ratio (SNR) and signal-to-background ratio (SBR). As a result, lidar-based object detectors trained on data captured in normal weather tend to perform poorly in such scenarios. However, collecting and labelling sufficient training data in a diverse range of adverse weather conditions is laborious and prohibitively expensive. To address this issue, we propose a physics-based approach to simulate lidar point clouds of scenes in adverse weather conditions. These augmented datasets can then be used to train lidar-based detectors to improve their all-weather reliability. Specifically, we introduce a hybrid Monte-Carlo based approach that treats (i) the effects of large particles by placing them randomly and comparing their back reflected power against the target, and (ii) attenuation effects on average through calculation of scattering efficiencies from the Mie theory and particle size distributions. Retraining networks with this augmented data improves mean average precision evaluated on real world rainy scenes and we observe greater improvement in performance with our model relative to existing models from the literature. Furthermore, we evaluate recent state-of-the-art detectors on the simulated weather conditions and present an in-depth analysis of their performance.

研究动机与目标

• 推动 LiDAR 基于的 3D 目标检测在恶劣天气条件（如雨、雪、雾）下的鲁棒性。
• 开发一个基于物理原理的仿真管线，用以生成天气增强的 LiDAR 点云。
• 展示天气增强数据如何重新训练最先进的检测器，以在真实雨天场景中获得改进。
• 将所提出的增强方法与文献中现有的天气仿真模型进行基准比较。

提出的方法

• 开发一个混合蒙特卡洛 LiDAR 散射体模拟器，将大粒子后向散射处理与来自 Mie 理论的物理衰减结合起来。
• 利用 Mie 理论建模的球形粒子及粒径分布（雨用 Marshall-Palmer，雾/雪用 gamma）从散射理论中计算消光系数。
• 使用 Beer-Lambert 规律来建模透射强度，以及对背向反射功率的指数衰减 e^{-2αR}。
• 通过建模高斯光束腰部和基于信噪比的可检测性，结合距离相关的光束发散和距离不确定性，来确定每个点的包含与否。
• 通过应用雨、雪和雾仿真来增强现有的 KITTI/Waymo 数据集，并重新训练检测器以评估鲁棒性。
• 提供两种变体：包含蒙特卡洛散射的全量 LISA 与专注于雾的 mini-LISA，以提高计算效率。

实验结果

研究问题

• RQ1 如何将基于物理的散射和大气模型集成到一个实用的 LiDAR 天气仿真器中？
• RQ2 在天气增强数据上训练或微调的检测器是否在现实中的恶劣天气情形下具有更好的泛化能力？
• RQ3 雨速、雾密度和粒径分布如何影响 LiDAR 回波、射程精度和检测器性能？
• RQ4 相比于先前的天气仿真方法，LISA 在真实感和对 3D 目标检测性能的影响方面如何？

主要发现

• 使用 LISA 增强数据重新训练在真实雨天场景上的平均精度提升超过现有方法。
• LISA 在多种架构（例如 PointPillars、PV-RCNN、deformable PV-RCNN）中改善检测器在真实雨天上的性能优于先前模型。
• 分析显示由于衰减和随机背向散射导致的缺失点是降雨中检测下降的主要因素，点编码方法（如 PointPillars）受影响最大。
• 雾和雪具有不同的可视化影响；雾引起远距离点的损失和射程不确定性，而雪增加更强的散射。
• 在 KITTI/Waymo 评估中，基于 LISA 的再训练在真实恶劣天气数据上通常取得最佳或接近最佳的性能提升，相较于其他仿真器。