[论文解读] CADSim: Robust and Scalable in-the-wild 3D Reconstruction for Controllable Sensor Simulation

Jingkang Wang, Sivabalan Manivasagam+6 more|arXiv (Cornell University)|Nov 2, 2023

Autonomous Vehicle Technology and Safety被引用 7

一句话总结

CADSim 提出了一种稳健且可扩展的方法，利用部件感知的CAD模型先验和可微渲染，从稀疏、嘈杂的传感器数据中实现真实世界环境下车辆的高保真度、可动且逼真的三维重建。该方法在形状精度方面表现优越，并具备实时渲染能力，从而为自动驾驶车辆开发提供了逼真且可控的传感器仿真环境。

ABSTRACT

Realistic simulation is key to enabling safe and scalable development of % self-driving vehicles. A core component is simulating the sensors so that the entire autonomy system can be tested in simulation. Sensor simulation involves modeling traffic participants, such as vehicles, with high quality appearance and articulated geometry, and rendering them in real time. The self-driving industry has typically employed artists to build these assets. However, this is expensive, slow, and may not reflect reality. Instead, reconstructing assets automatically from sensor data collected in the wild would provide a better path to generating a diverse and large set with good real-world coverage. Nevertheless, current reconstruction approaches struggle on in-the-wild sensor data, due to its sparsity and noise. To tackle these issues, we present CADSim, which combines part-aware object-class priors via a small set of CAD models with differentiable rendering to automatically reconstruct vehicle geometry, including articulated wheels, with high-quality appearance. Our experiments show our method recovers more accurate shapes from sparse data compared to existing approaches. Importantly, it also trains and renders efficiently. We demonstrate our reconstructed vehicles in several applications, including accurate testing of autonomy perception systems.

研究动机与目标

• 解决自动驾驶仿真中人工创建3D资产所面临的成本高、耗时长且难以扩展的问题。
• 克服现有重建方法在稀疏且嘈杂的真实世界传感器数据上性能不佳的问题，避免产生过度平滑或含伪影的网格。
• 生成准确、可编辑且可控制的3D车辆资产，兼容图形引擎，以支持逼真的多传感器仿真。
• 实现重建车辆的高效实时渲染，以支持闭环训练和大规模评估。
• 支持新型应用，如纹理迁移、混合现实插入以及罕见或安全关键场景的仿真。

提出的方法

• 利用少量特定类别的CAD模型作为部件感知的形状先验，为三维重建提供高质量的初始值。
• 在能量最小化框架中引入可微渲染器，基于多视角相机和LiDARD数据优化网格几何与外观。
• 采用网格表示以确保与图形引擎的兼容性，从而实现实时渲染、骨骼绑定以及车轮等可动部件的动画。
• 通过在重建过程中联合优化相机图像与LiDAR点云，实现多传感器一致性。
• 在不同车辆形状之间应用顶点对齐的纹理迁移，生成多样化且逼真的材质变化。
• 通过支持姿态调整、车轮运动和阴影渲染，实现可控的仿真，以实现物理上合理的场景插入。

实验结果

研究问题

• RQ1 部件感知的CAD模型先验是否能显著提升在稀疏、嘈杂的真实世界传感器数据下三维重建的精度与鲁棒性？
• RQ2 可微渲染是否能够实现实时效率下的高保真度、逼真且几何对齐的网格重建？
• RQ3 具有可动部件的重建车辆在多大程度上可用于生成逼真且可控制的自动驾驶系统传感器仿真？
• RQ4 CADSim在形状、外观和可动性方面，对多样化真实世界车辆的泛化能力如何？
• RQ5 重建资产是否能够支持新型仿真应用，如混合现实插入和高保真度的纹理迁移？

主要发现

• 在相机和LiDAR数据上，CADSim在形状精度方面均优于现有重建方法，尤其在观测稀疏的条件下表现更优。
• 与依赖通用网格模板的基线方法相比，该方法生成的网格伪影更少，自交现象更少。
• 重建车辆表现出高度逼真的视觉效果，外观、光照和纹理对齐在不同车型间均准确无误。
• 该方法实现了实时渲染，并高效支持复杂、安全关键场景下的多传感器数据（相机与LiDAR）仿真。
• 通过在真实世界车辆之间实现高质量的部件对应关系，成功完成纹理迁移，从而生成多样化且逼真的资产变体。
• 由CADSim资产生成的仿真传感器数据能无缝融入真实场景，具备逼真的遮挡、阴影以及动态行为（如车轮旋转）特征。