[论文解读] DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes

Xiaoyu Zhou, Lin Zhiwei+4 more|arXiv (Cornell University)|Dec 13, 2023

Advanced Vision and Imaging被引用 5

一句话总结

DrivingGaussian 提出了一种复合高斯点阵框架，通过分层建模静态背景（采用增量式3D高斯）和动态物体（通过复合动态高斯图），实现了对大规模、动态自动驾驶场景的高保真重建。该方法在新视角合成与极端场景模拟方面达到当前最优性能，尤其在引入LiDAR先验后，几何精度与多视角一致性进一步提升。

ABSTRACT

We present DrivingGaussian, an efficient and effective framework for surrounding dynamic autonomous driving scenes. For complex scenes with moving objects, we first sequentially and progressively model the static background of the entire scene with incremental static 3D Gaussians. We then leverage a composite dynamic Gaussian graph to handle multiple moving objects, individually reconstructing each object and restoring their accurate positions and occlusion relationships within the scene. We further use a LiDAR prior for Gaussian Splatting to reconstruct scenes with greater details and maintain panoramic consistency. DrivingGaussian outperforms existing methods in dynamic driving scene reconstruction and enables photorealistic surround-view synthesis with high-fidelity and multi-camera consistency. Our project page is at: https://github.com/VDIGPKU/DrivingGaussian.

研究动机与目标

• 解决从稀疏多传感器数据中高时空保真度重建大规模动态自动驾驶场景的挑战。
• 克服NeRF与3D高斯点阵在处理复杂、无界场景中多个运动物体与光照变化时的局限性。
• 实现对自动驾驶系统安全验证中极端情况的可控仿真。
• 通过LiDAR先验提升基于3D高斯的场景重建中几何精度与多视角一致性。
• 开发一种可扩展、高效的框架，用于自动驾驶应用中的实时动态场景建模。

提出的方法

• 使用增量式静态3D高斯逐步从连续多相机输入中重建静态背景。
• 通过复合动态高斯图对每个运动物体进行独立建模，实现在场景中准确的遮挡关系与动态融合。
• 利用LiDAR点云作为几何先验初始化高斯点，提升结构准确性并减少伪影。
• 框架采用基于高斯点阵的多视角渲染流水线，保持遮挡关系与全景一致性。
• 优化包括 $L_{TSSIM}$、$L_{Robust}$ 和 $L_{LiDAR}$ 在内的损失函数，以提升纹理细节、减少模糊并匹配LiDAR几何结构。
• 系统支持对动态物体的可控编辑与插入，用于极端场景仿真。

实验结果

研究问题

• RQ1 复合高斯点阵框架能否有效重建包含多个运动物体与复杂遮挡的大规模动态驾驶场景？
• RQ2 引入LiDAR先验在基于3D高斯的场景重建中如何提升几何精度与多视角一致性？
• RQ3 所提方法在动态驾驶场景合成方面，相较于现有NeRF与3D高斯点阵方法，性能提升程度如何？
• RQ4 该框架能否实现高保真、逼真、一致的多相机环绕视图合成？
• RQ5 DrivingGaussian 能否支持对罕见或关键安全驾驶场景的可控仿真，以用于自动驾驶系统验证？

主要发现

• DrivingGaussian 在公开自动驾驶基准测试中表现达到当前最优，使用LiDAR-1M初始化时，在KITTI-360数据集上PSNR达28.74，LPIPS为0.237。
• 引入LiDAR先验显著提升几何保真度，优于SfM与基于NeRF的初始化方法，其中LiDAR-2M实现PSNR 28.78与SSIM 0.867。
• 复合动态高斯图模块对性能贡献显著，若移除该模块，PSNR降至26.97，表明其在动态物体建模中的关键作用。
• 增量式静态3D高斯模块可实现高质量的大规模静态背景重建，若省略该模块，PSNR降至27.72。
• 即使不使用LiDAR先验，方法仍表现强劲（PSNR 28.36，SSIM 0.851），表明对初始化方法具有强鲁棒性。
• 该框架成功实现可控的极端场景仿真，如行人突然跌倒或对向车辆出现，具备时间连贯性与多传感器一致性。