[论文解读] HALS: A Height-Aware Lidar Super-Resolution Framework for Autonomous Driving

George Eskandar, Sudarsan, Sanjeev+4 more|arXiv (Cornell University)|Feb 8, 2022

Advanced Optical Sensing Technologies被引用 5

一句话总结

HALS 提出了一种新颖的高程感知激光雷达超分辨率框架，通过在极坐标系中使用多感受野生成器来建模激光雷达扫描中的高度相关距离分布，实现了在 Kitti、NuScenes 和 Cityscapes 数据集上的最先进性能，显著提升了几何保真度和目标检测精度。

ABSTRACT

Lidar sensors are costly yet critical for understanding the 3D environment in autonomous driving. High-resolution sensors provide more details about the surroundings because they contain more vertical beams, but they come at a much higher cost, limiting their inclusion in autonomous vehicles. Upsampling lidar pointclouds is a promising approach to gain the benefits of high resolution while maintaining an affordable cost. Although there exist many pointcloud upsampling frameworks, a consistent comparison of these works against each other on the same dataset using unified metrics is still missing. In the first part of this paper, we propose to benchmark existing methods on the Kitti dataset. In the second part, we introduce a novel lidar upsampling model, HALS: Height-Aware Lidar Super-resolution. HALS exploits the observation that lidar scans exhibit a height-aware range distribution and adopts a generator architecture with multiple upsampling branches of different receptive fields. HALS regresses polar coordinates instead of spherical coordinates and uses a surface-normal loss. Extensive experiments show that HALS achieves state-of-the-art performance on 3 real-world lidar datasets.

研究动机与目标

• 解决在真实世界数据集上使用统一指标对激光雷达上采样方法进行一致基准测试的缺乏问题。
• 识别现有点云上采样方法的局限性，特别是其未能考虑激光雷达扫描中高度相关的距离分布。
• 开发一种新框架，在上采样过程中通过高程感知设计和极坐标回归保留三维几何结构与物体形状。
• 通过提升点云分辨率并保持计算效率，改善下游感知任务（如三维目标检测）的性能。

提出的方法

• 提出一种基于网格的生成器架构，包含多个上采样分支，每个分支根据其高度相关距离分布特性，专门针对不同垂直光束区域进行优化。
• 将输入和输出表示为极坐标而非球坐标，以显式建模高度信息并提升几何一致性。
• 使用表面法线损失以保留局部三维结构，并减少重建表面的伪影。
• 在 Kitti、NuScenes 和 Cityscapes 的真实世界激光雷达扫描数据上端到端训练模型，采用结合 L1、L2 和法线一致性损失的多尺度损失函数。
• 为每个垂直光束设计不同感受野的生成器，以捕捉高距离、高仰角区域中的长程依赖关系。
• 采用从低分辨率到高分辨率点云的确定性映射，专注于形状保真度和与真实值的分布匹配。

实验结果

研究问题

• RQ1 当使用统一指标在真实世界数据集上一致基准测试时，现有激光雷达上采样方法的表现如何？
• RQ2 在激光雷达扫描中忽略高度相关的距离分布对上采样点云质量有何影响？
• RQ3 能否通过建模光束特定距离统计特性的多感受野生成器架构，提升激光雷达超分辨率中的几何保真度？
• RQ4 使用极坐标和表面法线损失在多大程度上提升了形状保持能力与下游任务性能？
• RQ5 与最先进方法相比，所提出的 HALS 框架在上采样后目标检测精度方面表现如何？

主要发现

• HALS 在三个真实世界激光雷达数据集（Kitti Raw、Kitti Object 和 NuScenes）上实现了最先进性能，其几何保真度和目标检测性能均优于现有方法。
• 在 Kitti Object 数据集上，HALS 在 'Car' 类别硬难度下的平均精度（AP）达到 55.76，优于 ILN（34.00）和 LIDAR-SR（20.39）。
• 定性分析表明，HALS 生成的点云在保留前景物体（如汽车）的形状与分布方面表现更优，相比 ILN 和 LIDAR-SR，伪影和噪声更少。
• 消融研究证实，高程感知设计与极坐标表示显著提升了重建质量并减少了结构失真。
• 基于网格的方法在基准测试中优于基于点的方法，因其更大的垂直感受野能更好地捕捉光束间的距离变化。
• 表面法线损失有助于提升局部表面一致性，减少了放大后点云中的平坦或失真区域。