[论文解读] LiDAR Sensor modeling and Data augmentation with GANs for Autonomous driving

Ahmad El Sallab, Ibrahim Sobh+2 more|arXiv (Cornell University)|May 17, 2019

Advanced Neural Network Applications参考文献 16被引用 33

一句话总结

本文将 LiDAR 传感器建模表述为使用 CycleGAN 的无配对图像对图像翻译，将仿真 CARLA LiDAR 映射到真实 KITTI LiDAR（sim2real），并对 LiDAR 表征执行真实到真实的转换，从而实现数据增强与逼真度提升。

ABSTRACT

In the autonomous driving domain, data collection and annotation from real vehicles are expensive and sometimes unsafe. Simulators are often used for data augmentation, which requires realistic sensor models that are hard to formulate and model in closed forms. Instead, sensors models can be learned from real data. The main challenge is the absence of paired data set, which makes traditional supervised learning techniques not suitable. In this work, we formulate the problem as image translation from unpaired data and employ CycleGANs to solve the sensor modeling problem for LiDAR, to produce realistic LiDAR from simulated LiDAR (sim2real). Further, we generate high-resolution, realistic LiDAR from lower resolution one (real2real). The LiDAR 3D point cloud is processed in Bird-eye View and Polar 2D representations. The experimental results show a high potential of the proposed approach.

研究动机与目标

• 动机：在无需高风险的真实世界采集的情况下，说明需要更逼真的 LiDAR 传感器模型来为自动驾驶数据进行增强。
• 提出一种无监督学习方法，利用来自仿真与真实数据的无配对数据对 LiDAR 感知进行建模。
• 研究两种 LiDAR 表征（Bird-eye View BEV 和 Polar Grid Map PGM）在域间翻译中的作用。
• 展示 sim2real 与 real2real 的翻译，生成来自仿真的逼真 LiDAR 数据并提升分辨率。
• 讨论生成的 LiDAR 数据的评估策略，并勾画未来改进方向。

提出的方法

• 将 LiDAR 传感器建模表述为使用 CycleGAN 的无配对图像对图像翻译问题。
• 在两个域之间进行翻译：来自 CARLA 的仿真 LiDAR 与来自 KITTI 的真实 LiDAR，使用 BEV 和 PGM 投影。
• 为两个方向（G: sim2real，F: real2sim）定义 GAN 损失，以及循环一致性损失。
• 将两种二维 LiDAR 表征（BEV 和 2D PGM）应用于在二维框架中保持 3D 信息。
• 可选地用任务特定损失和外在损失扩展 CycleGAN，以保持对象级内容。
• 使用数据集进行训练：将 CARLA 作为 X、KITTI 作为 Y，探索包含 2000 帧子集的实验。

实验结果

研究问题

• RQ1 CycleGAN 能否在没有配对样本的情况下学习仿真 LiDAR 与真实 LiDAR 数据之间的现实映射？
• RQ2 BEV 和 PGM 表征是否保留足够的 LiDAR 信息以实现有效的 sim2real 翻译？
• RQ3 是否有可能在不需要监督的图像到图像翻译的前提下，将低分辨率输入翻译为更高分辨率的 LiDAR？
• RQ4 外部评估方法（如目标检测导向的指标）是否能量化生成的 LiDAR 数据质量？
• RQ5 有哪些可行的策略来评估和增强用于下游感知任务的 LiDAR 数据？

主要发现

• 基于 CycleGAN 的翻译可以从 CARLA 输入中生成类似 KITTI 的 BEV，同时保留 KITTI 的总体特征。
• Real2real 翻译表明该模型在从稀疏到密集的 LiDAR 通道配置迁移时，可以传递内容。
• PGM 基于的翻译表明 3D LiDAR 信息可以在密集的 2D 表征中被编码并翻译。
• 研究讨论了多种评估途径，包括重建质量、注释迁移以及外部任务为导向的评估。
• 作者提出一个数据增强与提升真实感的框架，未来可通过引入任务特定损失项及外在评估器进一步扩展。