[论文解读] Generating Photo-realistic Images from LiDAR Point Clouds with Generative Adversarial Networks

Nuriel Shalom Mor|arXiv (Cornell University)|Dec 20, 2021

Image Processing and 3D Reconstruction被引用 7

一句话总结

本文提出一种基于条件 GAN 的方法，利用反射率和距离数据，从激光雷达点云生成逼真的图像。在自建数据集上进行训练后，该模型成功生成了包括难以检测的黑色汽车在内的逼真图像，表明点云中的上下文线索可有效实现无需相机输入的图像生成，从而支持下游视觉识别任务。

ABSTRACT

We examined the feasibility of generative adversarial networks (GANs) to generate photo-realistic images from LiDAR point clouds. For this purpose, we created a dataset of point cloud image pairs and trained the GAN to predict photorealistic images from LiDAR point clouds containing reflectance and distance information. Our models learned how to predict realistically looking images from just point cloud data, even images with black cars. Black cars are difficult to detect directly from point clouds because of their low level of reflectivity. This approach might be used in the future to perform visual object recognition on photorealistic images generated from LiDAR point clouds. In addition to the conventional LiDAR system, a second system that generates photorealistic images from LiDAR point clouds would run simultaneously for visual object recognition in real-time. In this way, we might preserve the supremacy of LiDAR and benefit from using photo-realistic images for visual object recognition without the usage of any camera. In addition, this approach could be used to colorize point clouds without the usage of any camera images.

研究动机与目标

• 探究条件 GAN 是否能够从仅包含反射率和距离信息的激光雷达点云中生成逼真图像。
• 解决从激光雷达点云中直接检测低反射率物体（如黑色汽车）的挑战。
• 在生成的图像上实现视觉目标识别与语义分割，同时保留激光雷达的精度，并利用类似相机的视觉特征。
• 探索在无需任何相机图像的情况下对点云进行彩色化处理的可行性。
• 开发一种双传感器系统，使激光雷达系统与基于 GAN 的图像生成系统并行运行，实现实时视觉识别。

提出的方法

• 使用具有高角分辨率和多回波能力的 InnovizOne 激光雷达传感器，采集了配对的激光雷达点云与真实图像组成的自建数据集。
• 将点云转换为双通道图像：一通道用于反射率，一通道用于距离，从而为 pix2pix 条件 GAN 架构提供输入。
• 采用对抗损失与 L1 损失的组合对 pix2pix GAN 进行训练，以确保从点云表征到逼真图像的高保真度图像转换。
• 训练过程持续 40 个周期，批量大小为 1，采用生成器与判别器网络之间的两玩家极小极大博弈。
• 生成器被优化以生成与真实图像高度相似的图像，而判别器则学习区分真实图像与生成图像。
• 引入一种自定义评估指标，用于评估目标存在相似性，具体衡量生成图像中可检测到的车辆数量与真实图像中车辆数量的比率。

实验结果

研究问题

• RQ1 条件 GAN 是否能够从仅包含反射率和距离信息的激光雷达点云中生成逼真图像？
• RQ2 生成的图像是否能够保留关键视觉细节，例如低反射率物体（如黑色汽车）的存在与外观？
• RQ3 点云中的上下文信息在多大程度上可弥补缺乏直接反射率数据所带来的问题，从而实现对黑色车辆的检测？
• RQ4 生成的图像是否能够支持下游视觉识别任务，如目标检测与语义分割？
• RQ5 是否可行将此基于 GAN 的图像生成方法作为传统激光雷达的补充系统，实现在无实际相机情况下的类相机视觉处理？

主要发现

• 该模型成功从激光雷达点云中生成了逼真图像，包括直接从点云中难以检测的复杂场景和黑色汽车。
• 由于生成图像与真实图像在颜色或形状上并不完全匹配，生成器主要通过上下文线索来预测黑色汽车。
• 自定义评估指标在两次实验中均获得 0.7 至 0.8 的得分，表明真实图像中 70–80% 的车辆在生成图像中可被检测到。
• 在训练 40 个周期后出现过拟合现象，表明模型容量与数据多样性可能需要进一步优化以提升泛化能力。
• 结果表明，仅依靠激光雷达点云（无需任何相机输入）即可生成适用于视觉识别任务的图像。
• 该方法实现了无相机的点云彩色化，并支持一种双传感器架构，即基于 GAN 的图像生成器可与标准激光雷达系统协同工作，实现实时视觉处理。