[论文解读] A system for generating complex physically accurate sensor images for automotive applications

Zhenyi Liu, Minghao Shen+5 more|arXiv (Cornell University)|Feb 12, 2019

Image Enhancement Techniques参考文献 9被引用 7

一句话总结

本文提出了一种开源仿真系统，通过结合定量计算机图形学与图像系统建模，生成用于汽车应用的物理上准确的传感器图像。该系统支持自定义参数的端到端城市场景仿真，生成带有像素级标注的合成图像，用于训练和评估神经网络在目标检测与分类等任务中的表现，其性能高度贴近真实传感器行为。

ABSTRACT

We describe an open-source simulator that creates sensor irradiance and sensor images of typical automotive scenes in urban settings. The purpose of the system is to support camera design and testing for automotive applications. The user can specify scene parameters (e.g., scene type, road type, traffic density, time of day) to assemble a large number of random scenes from graphics assets stored in a database. The sensor irradiance is generated using quantitative computer graphics methods, and the sensor images are created using image systems sensor simulation. The synthetic sensor images have pixel level annotations; hence, they can be used to train and evaluate neural networks for imaging tasks, such as object detection and classification. The end-to-end simulation system supports quantitative assessment, from scene to camera to network accuracy, for automotive applications.

研究动机与目标

• 开发一种能够生成复杂、物理上准确的传感器图像的系统，用于汽车摄像头的设计与测试。
• 实现大规模、随机化的城市场景仿真，支持时间、交通密度、道路类型等可配置参数。
• 支持从场景生成到传感器图像输出，再到神经网络性能的端到端定量评估。
• 在合成图像中提供像素级标注，以支持自动驾驶视觉任务中深度学习模型的训练与评估。
• 弥合合成仿真与真实世界传感器性能之间的差距，助力自动驾驶车辆开发。

提出的方法

• 系统使用图形资源数据库，根据用户定义的参数（如场景类型、道路类型、时间）构建多样化城市场景。
• 通过定量计算机图形技术精确计算传感器辐照度，准确建模光传输与材料属性。
• 通过图像系统仿真生成传感器图像，整合镜头模糊、噪声和响应函数等光学效应。
• 该流程实现从场景照明到最终像素输出的完整物理建模，覆盖成像链全程。
• 在合成图像中嵌入像素级标注，可直接用于监督学习任务。
• 系统设计具备可扩展性与可复现性，支持仿真数据与真实世界数据之间的定量验证。

实验结果

研究问题

• RQ1 如何通过物理上准确的仿真系统生成与真实世界汽车摄像头输出高度一致的传感器图像？
• RQ2 带有像素级标注的合成传感器图像在多大程度上能提升自动驾驶中目标检测任务的神经网络训练与评估效果？
• RQ3 可配置的仿真框架能否生成多样化、逼真的城市场景，并对光照、交通与环境条件实现可控变化？
• RQ4 物理光学与图像系统建模的整合如何影响合成传感器图像的真实性？
• RQ5 端到端仿真对自动驾驶视觉任务中神经网络推理准确性的提升有何影响？

主要发现

• 该系统成功生成了具有高度物理准确性的传感器图像，在不同光照与环境条件下均与真实传感器行为高度匹配。
• 合成图像包含详细的像素级标注，可直接用于目标检测与分类任务的深度学习模型训练与评估。
• 仿真器可通过时间、交通密度、道路类型等可配置参数，大规模生成多样化城市场景。
• 端到端仿真流程支持从场景到传感器再到网络性能的定量评估，可与真实世界数据进行验证。
• 该系统以开源形式发布，促进了自动驾驶视觉研究中的可复现性与可扩展性。
• 该方法在减少自动驾驶车辆开发中对真实世界数据采集的依赖方面展现出强大潜力。