[논문 리뷰] DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes

Xiaoyu Zhou, Lin Zhiwei외 4명|arXiv (Cornell University)|2023. 12. 13.

Advanced Vision and Imaging인용 수 5

한 줄 요약

DrivingGaussian는 계층적으로 증분 3D 가우시안을 사용해 정적 배경을 모델링하고 복합 동적 가우시안 그래프를 통해 동적 물체를 처리함으로써 대규모 동적 자율주행 환경의 고해상도 재구성 프레임워크를 제안한다. LiDAR 사전 지식을 통합함으로써 기하학적 정확도와 다중 시점 일致성을 향상시키며, 새로운 시점 합성과 코너 케이스 시뮬레이션에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present DrivingGaussian, an efficient and effective framework for surrounding dynamic autonomous driving scenes. For complex scenes with moving objects, we first sequentially and progressively model the static background of the entire scene with incremental static 3D Gaussians. We then leverage a composite dynamic Gaussian graph to handle multiple moving objects, individually reconstructing each object and restoring their accurate positions and occlusion relationships within the scene. We further use a LiDAR prior for Gaussian Splatting to reconstruct scenes with greater details and maintain panoramic consistency. DrivingGaussian outperforms existing methods in dynamic driving scene reconstruction and enables photorealistic surround-view synthesis with high-fidelity and multi-camera consistency. Our project page is at: https://github.com/VDIGPKU/DrivingGaussian.

연구 동기 및 목표

• 희소한 다중 센서 데이터로부터 대규모 동적 자율주행 환경을 고공간·시간 해상도로 재구성하는 도전 과제를 해결하기 위해.
• 복잡하고 비한정된 환경에서 다수의 이동 물체와 변화하는 조명 조건을 다루는 데에 한계가 있는 NeRF 및 3D 가우시안 스플래터링의 문제점을 극복하기 위해.
• 자율주행 시스템의 안전성 검증을 위한 코너 케이스 시뮬레이션을 제어 가능하게 하기 위해.
• LiDAR 사전 지식을 활용해 기하학적 정확도와 다중 시점 일관성을 향상시켜 3D 장면 재구성의 정확도를 높이기 위해.
• 실시간 동적 장면 모델링을 위한 확장 가능하고 효율적인 프레임워크를 개발하기 위해.

제안 방법

• 증분 정적 3D 가우시안을 사용해 순차적인 다중 카메라 입력으로부터 정적 배경을 점진적으로 재구성한다.
• 복합 동적 가우시안 그래프를 통해 각 이동 물체를 개별적으로 모델링함으로써 정확한 가림 관계를 유지하면서 장면에 동적으로 통합한다.
• LiDAR 포인트 클라우드를 기하학적 사전 지식으로 사용하여 가우시안를 초기화함으로써 구조적 정확도를 향상시키고 아티팩트를 감소시킨다.
• 가우시안 스플래터링 기반의 다중 시점 렌더링 파이프라인을 활용하여 가림 관계와 원형 일관성을 유지한다.
• 텍스처 세부 정보 향상, 블러 감소, LiDAR 기하학과의 일치를 위해 $L_{TSSIM}$, $L_{Robust}$, $L_{LiDAR}$ 등의 손실 함수를 최적화한다.
• 코너 케이스 시뮬레이션을 위한 동적 물체의 편집 및 삽입이 가능한 제어 가능한 기능을 지원한다.

실험 결과

연구 질문

• RQ1 복합 가우시안 스플래터링 프레임워크는 다수의 이동 물체와 복잡한 가림 관계를 포함한 대규모 동적 주행 환경을 효과적으로 재구성할 수 있는가?
• RQ2 LiDAR 사전 지식을 통합할 경우 3D 가우시안 기반 장면 재구성에서 기하학적 정확도와 다중 시점 일관성이 어떻게 향상되는가?
• RQ3 제안된 방법이 기존의 NeRF 및 3D 가우시안 스플래터링 기반 접근법보다 동적 주행 환경 합성에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 이 프레임워크는 일관된 다중 카메라 렌더링을 보장하면서 고해상도 사진 수준의 전방위 시각 합성을 가능하게 하는가?
• RQ5 DrivingGaussian는 자율주행 시스템 검증을 위한 드문 또는 안전에 위협이 되는 주행 시나리오의 제어 가능한 시뮬레이션을 지원할 수 있는가?

주요 결과

• LiDAR-1M 초기화를 사용할 경우 KITTI-360 데이터셋에서 PSNR 28.74, LPIPS 0.237로 공개된 자율주행 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• LiDAR 사전 지식을 통합함으로써 기하학적 정확도가 크게 향상되며, SfM 및 NeRF 기반 초기화 방법보다 우수한 성능을 보이며, LiDAR-2M 초기화 시 PSNR 28.78, SSIM 0.867을 기록한다.
• 복합 동적 가우시안 그래프 모듈은 성능 향상에 크게 기여하며, 이를 제거할 경우 PSNR가 26.97로 떨어져 동적 물체 모델링에서의 핵심적 역할을 확인할 수 있다.
• 증분 정적 3D 가우시안 모듈은 대규모 정적 배경의 고품질 재구성을 가능하게 하며, 이를 생략할 경우 PSNR가 27.72로 감소한다.
• LiDAR 사전 지식 없이도 강력한 성능(PSNR 28.36, SSIM 0.851)을 기록함으로써 초기화 방법에 대한 강인성을 입증한다.
• 프레임워크는 갑작스러운 보행자 추락이나 만남 차량과 같은 코너 케이스 시뮬레이션을 성공적으로 지원하며, 시간적 일관성과 다중 센서 일관성을 확보한다.