[论文解读] 4DenoiseNet: Adverse Weather Denoising from Adjacent Point Clouds

Alvari Seppänen, Risto Ojala+1 more|arXiv (Cornell University)|Sep 15, 2022

Remote Sensing and LiDAR Applications被引用 5

一句话总结

4DenoiseNet 是一种新颖的深度学习框架，通过在相邻的 LiDAR 点云上应用时空 k-最近邻卷积，以去除降雪、降雨和雾霾等恶劣天气引起的噪声。该方法在 SnowyKITTI 新数据集和加拿大恶劣驾驶条件真实数据上均经过验证，实现了最先进性能，交并比（IoU）提升 10%，且在领域分布变化下表现出更优的泛化能力。

ABSTRACT

Reliable point cloud data is essential for perception tasks extit{e.g.} in robotics and autonomous driving applications. Adverse weather causes a specific type of noise to light detection and ranging (LiDAR) sensor data, which degrades the quality of the point clouds significantly. To address this issue, this letter presents a novel point cloud adverse weather denoising deep learning algorithm (4DenoiseNet). Our algorithm takes advantage of the time dimension unlike deep learning adverse weather denoising methods in the literature. It performs about 10\% better in terms of intersection over union metric compared to the previous work and is more computationally efficient. These results are achieved on our novel SnowyKITTI dataset, which has over 40000 adverse weather annotated point clouds. Moreover, strong qualitative results on the Canadian Adverse Driving Conditions dataset indicate good generalizability to domain shifts and to different sensor intrinsics.

研究动机与目标

• 解决由空气中颗粒物（如降雪、降雨和雾霾）引起的 LiDAR 点云退化这一关键挑战。
• 通过去除天气引起的噪声，提升下游感知任务（如目标检测和导航）的鲁棒性和准确性。
• 通过利用相邻点云中的时间一致性和空间结构，克服传统滤波方法和先前学习方法的局限性。
• 开发一种可泛化的模型，在多种天气条件和传感器配置下（包括领域分布变化）均表现良好。
• 创建一个大规模、逐点标注的基准数据集（SnowyKITTI），用于训练和评估恶劣天气去噪模型。

提出的方法

• 该模型采用双分支编码器架构，处理连续的点云 $\mathbf{P}^{(t)}$ 和 $\mathbf{P}^{(t-1)}$，以利用时间动态特性。
• 提出一种新型的时空 k-最近邻（kNN）卷积层，捕捉相邻帧之间的局部几何与运动模式。
• 运动引导注意力（MGA）机制通过聚焦于运动不一致区域来增强特征学习，这些区域通常指示噪声。
• 模型在半合成数据上以监督方式训练，这些数据通过将基于物理的天气效应应用于真实晴天 LiDAR 扫描生成。
• 输入特征被限制为 $(r, x, y, z)$，以提升对传感器内部参数的泛化能力，排除强度特征以避免领域偏差。
• 模型优化目标为端到端的逐点噪声分类，随后移除噪声点，生成干净的输出点云。

实验结果

研究问题

• RQ1 与单帧方法相比，利用相邻 LiDAR 点云的时间信息是否能显著提高恶劣天气去噪的准确性？
• RQ2 时空 kNN 卷积的融合如何增强模型对不同天气强度和传感器配置的鲁棒性？
• RQ3 在半合成数据上训练的模型，在存在领域分布变化的真实恶劣天气场景中，其泛化能力如何？
• RQ4 在训练中省略强度通道是否能提升对具有不同垂直分辨率的未见 LiDAR 传感器型号的泛化能力？
• RQ5 所提出的方法是否能在多种天气条件下，同时在定量指标和定性鲁棒性方面超越现有最先进模型？

主要发现

• 在 SnowyKITTI 数据集上，4DenoiseNet 的交并比（IoU）比先前最先进方法 WeatherNet 提高了 10%。
• 该模型在所有降雪强度下（轻度、中度和重度）均保持高性能，当在所有条件上进行训练时，IoU 分数分别为 0.975、0.976 和 0.977。
• 消融实验表明，空间和时间 kNN 卷积模块均不可或缺，完整模型将推理时间缩短至 19ms，并达到最高的 IoU。
• 在加拿大恶劣驾驶条件数据集上的定性结果表明，4DenoiseNet 能够有效恢复重度降雪中被遮挡物体的可见性，即使训练与测试传感器的垂直分辨率相差 2.8 倍。
• 在训练中省略强度通道显著提升了对未见传感器内部参数的泛化能力，表明基于强度的偏差是导致领域分布变化失败的关键因素。
• 该模型对未见天气类型和传感器配置具有良好的泛化能力，表现出对领域分布变化的鲁棒性，这在真实世界数据上的强表现中得到验证，尽管模型仅在半合成数据上进行训练。