[论文解读] Unsupervised Neural Sensor Models for Synthetic LiDAR Data Augmentation

Ahmad El Sallab, Ibrahim Sobh+2 more|arXiv (Cornell University)|Nov 24, 2019

Advanced Neural Network Applications参考文献 14被引用 5

一句话总结

该论文提出两种无监督神经传感器模型——CycleGAN 和神经风格迁移（Neural Style Transfer）——用于实现逼真的 LiDAR 数据增强，将模拟的 CARLA LiDAR 点云映射到类似 KITTI 的真实分布，且无需成对数据。当在基于 YOLO 的定向检测框架中，于鸟瞰图 LiDAR 投影上进行数据增强时，该方法使目标检测的 mAP 提升最高达 6%。

ABSTRACT

Data scarcity is a bottleneck to machine learning-based perception modules, usually tackled by augmenting real data with synthetic data from simulators. Realistic models of the vehicle perception sensors are hard to formulate in closed form, and at the same time, they require the existence of paired data to be learned. In this work, we propose two unsupervised neural sensor models based on unpaired domain translations with CycleGANs and Neural Style Transfer techniques. We employ CARLA as the simulation environment to obtain simulated LiDAR point clouds, together with their annotations for data augmentation, and we use KITTI dataset as the real LiDAR dataset from which we learn the realistic sensor model mapping. Moreover, we provide a framework for data augmentation and evaluation of the developed sensor models, through extrinsic object detection task evaluation using YOLO network adapted to provide oriented bounding boxes for LiDAR Bird-eye-View projected point clouds. Evaluation is performed on unseen real LiDAR frames from KITTI dataset, with different amounts of simulated data augmentation using the two proposed approaches, showing improvement of 6% mAP for the object detection task, in favor of the augmenting LiDAR point clouds adapted with the proposed neural sensor models over the raw simulated LiDAR.

研究动机与目标

• 通过使用模拟器生成的合成数据来增强真实数据，以解决基于 LiDAR 的感知中数据稀缺的问题。
• 克服在缺乏真实-模拟数据成对样本的情况下，对真实 LiDAR 传感器行为进行建模的挑战。
• 开发无监督神经传感器模型，以学习从模拟到真实 LiDAR 点云之间的分布偏移。
• 通过以目标检测作为代理任务，评估这些模型在数据增强框架中的有效性。
• 证明逼真的传感器建模可提升在真实世界测试数据上的下游感知性能。

提出的方法

• 使用 CARLA 模拟器生成干净、带标注的 LiDAR 点云作为合成数据。
• 使用 KITTI 数据集作为学习传感器映射的真实 LiDAR 数据分布。
• 训练基于 CycleGAN 的神经传感器模型，以学习从模拟到真实 LiDAR 分布的无配对翻译。
• 训练神经风格迁移（NST）模型，将真实 KITTI LiDAR 数据的风格迁移到模拟的 CARLA 点云上，同时保持内容不变。
• 将两种模型应用于生成逼真的合成 LiDAR 数据，用于在基于 YOLO 的定向目标检测流水线中进行鸟瞰图投影下的数据增强。
• 通过在未见的真实 KITTI 测试帧上计算 mAP，评估不同数量增强合成数据下的性能表现。

实验结果

研究问题

• RQ1 无监督域迁移技术（如 CycleGAN 和 NST）是否能在无成对数据的情况下，有效建模从模拟到真实 LiDAR 数据的分布偏移？
• RQ2 使用增强合成数据训练的目标检测模型，其性能与仅使用真实数据训练的模型相比如何？
• RQ3 与使用原始模拟数据进行增强相比，使用逼真的神经传感器模型是否能提升检测 mAP？
• RQ4 在视觉保真度和下游检测性能方面，基于 CycleGAN 和 NST 的神经传感器模型表现如何比较？
• RQ5 增加增强合成数据的比例对检测性能有何影响？是否存在性能饱和现象？

主要发现

• 仅在原始模拟 CARLA 数据上训练的基线模型，在真实 KITTI 测试数据上的 mAP 为 12.1%，表明存在显著的领域差距。
• 使用 10 万帧原始模拟数据增强真实 KITTI 数据后，mAP 提升至 65.3%，表明未经修改的合成数据带来的增益有限。
• 使用基于 CycleGAN 的神经传感器模型进行增强后，mAP 提升至 71.5%，相比原始模拟数据实现了 6% 的提升。
• 基于 NST 的模型实现了 69.3% 的 mAP，表现出一致的性能提升，但在所有增强比例下均略低于 CycleGAN。
• 随着增强合成数据量的增加，CycleGAN 和 NST 模型均持续提升 mAP，而原始模拟数据的曲线趋于饱和并存在性能退化的风险。
• 视觉分析表明，CycleGAN 更好地捕捉了真实 KITTI 数据中的噪声和伪影，而 NST 更好地保持了内容忠实度，但在建模真实世界缺陷方面表现较差。