[论文解读] A LiDAR Point Cloud Generator: from a Virtual World to Autonomous Driving

Xiangyu Yue, BoRui Wu+3 more|ArXiv.org|Mar 31, 2018

Advanced Neural Network Applications参考文献 22被引用 45

一句话总结

本论文提出基于 GTA-V 的框架，用以合成带注释的 LiDAR 点云并实现自动校准，从而训练和测试用于自动驾驶的 LiDAR/视觉网络；合成数据提升分割性能并帮助暴露网络弱点以便再训练。

ABSTRACT

3D LiDAR scanners are playing an increasingly important role in autonomous driving as they can generate depth information of the environment. However, creating large 3D LiDAR point cloud datasets with point-level labels requires a significant amount of manual annotation. This jeopardizes the efficient development of supervised deep learning algorithms which are often data-hungry. We present a framework to rapidly create point clouds with accurate point-level labels from a computer game. The framework supports data collection from both auto-driving scenes and user-configured scenes. Point clouds from auto-driving scenes can be used as training data for deep learning algorithms, while point clouds from user-configured scenes can be used to systematically test the vulnerability of a neural network, and use the falsifying examples to make the neural network more robust through retraining. In addition, the scene images can be captured simultaneously in order for sensor fusion tasks, with a method proposed to do automatic calibration between the point clouds and captured scene images. We show a significant improvement in accuracy (+9%) in point cloud segmentation by augmenting the training dataset with the generated synthesized data. Our experiments also show by testing and retraining the network using point clouds from user-configured scenes, the weakness/blind spots of the neural network can be fixed.

研究动机与目标

• 从虚拟世界自动创建标注的 3D LiDAR 点云，用于自动驾驶研究。
• 实现 LiDAR 点云与相机图像之间的自动校准，以实现传感器融合。
• 提供可配置的游戏场景，利用合成数据和再训练系统地测试和改进神经网络。

提出的方法

• 使用 Grand Theft Auto V 及一个虚拟 LiDAR 收集同步的点云和游戏内图像。
• 应用自动校准，通过几何投影将 LiDAR 点映射到图像像素。
• 允许用户配置场景参数，以生成多样化、受控的测试数据。
• 在 KITTI 派生标签上使用 IoU、Precision、Recall 评估 LiDAR 点云分割。
• 将 GTA-V 合成数据与 KITTI 实际数据结合，用于训练和验证分割模型。

实验结果

研究问题

• RQ1 虚拟世界的合成 LiDAR 数据能否提升真实世界 LiDAR 分割性能？
• RQ2 用合成的、具有挑战性场景进行再训练如何影响网络鲁棒性和对故障模式的覆盖？
• RQ3 自动校准是否能够在使用仿真数据的情况下实现 LiDAR 与图像之间的有效传感器融合？
• RQ4 通过系统抽样的游戏内场景，网络的弱点（盲点）是什么？

主要发现

• 用 GTA-V 的合成数据来增强 KITTI，相较于仅使用 KITTI，分割 IoU 提升约 9%。
• 纯合成的 GTA-V 数据单独使用效果较差，因为分布差异，但与 KITTI 结合时性能更好，即使没有强度信息。
• 系统性游戏内场景采样揭示近场和偏心区域为弱点（低 IoU），从而实现针对性的再训练。
• 用来自弱区域的选定合成点云进行再训练，显著改善 IoU 在大多数位置，同时保持 KITTI 性能。
• 使用可配置的游戏内场景进行测试和再训练可以在不影响真实数据精度的情况下修复神经网络的弱点。