[논문 리뷰] Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and Real-time Rendering

Yu-Rui Chen, Chun Gu외 3명|arXiv (Cornell University)|2023. 11. 30.

Remote Sensing and Land Use인용 수 4

한 줄 요약

이 논문은 정적 가우시안 포인트에 주기적 진동 기반의 시간 동적 특성을 통합하여 실시간 렌더링과 뛰어난 재구성 성능을 달성하는 통합된 3D 가우시안 스플래터링 기반 방법인 주기적 진동 가우시안(Periodic Vibration Gaussian, PVG)을 제안한다. 이는 개체 수준의 애너테이션 없이도 대규모 동적 도시 환경를 모델링할 수 있도록 한다. PVG는 SUDS 대비 훈련 속도 50배 향상, 렌더링 속도 6000배 향상하여 Waymo 및 KITTI 벤치마크에서 PSNR, SSIM, LPIPS 측면에서 뚜렷한 성능 향상을 보이며 최신 기술을 초월한다.

ABSTRACT

Modeling dynamic, large-scale urban scenes is challenging due to their highly intricate geometric structures and unconstrained dynamics in both space and time. Prior methods often employ high-level architectural priors, separating static and dynamic elements, resulting in suboptimal capture of their synergistic interactions. To address this challenge, we present a unified representation model, called Periodic Vibration Gaussian (PVG). PVG builds upon the efficient 3D Gaussian splatting technique, originally designed for static scene representation, by introducing periodic vibration-based temporal dynamics. This innovation enables PVG to elegantly and uniformly represent the characteristics of various objects and elements in dynamic urban scenes. To enhance temporally coherent and large scene representation learning with sparse training data, we introduce a novel temporal smoothing mechanism and a position-aware adaptive control strategy respectively. Extensive experiments on Waymo Open Dataset and KITTI benchmarks demonstrate that PVG surpasses state-of-the-art alternatives in both reconstruction and novel view synthesis for both dynamic and static scenes. Notably, PVG achieves this without relying on manually labeled object bounding boxes or expensive optical flow estimation. Moreover, PVG exhibits 900-fold acceleration in rendering over the best alternative.

연구 동기 및 목표

• 복잡한 시공간 상호작용을 포함한 대규모 동적 도시 환경 재구성의 과제를 해결하기 위해.
• 이전의 NeRF 기반 방법들이 고비용의 감독(예: 3D 바운딩 박스, 옵티컬 플로우)에 의존하거나 훈련 및 렌더링 속도가 느린 한계를 극복하기 위해.
• 명시적인 개체 분해 없이도 정적 및 동적 요소를 하나의 효율적인 표현으로 통합하기 위해.
• 희소한 훈련 데이터를 통해 새로운 유형의 플로우 기반 스무딩 및 적응형 제어를 통해 재구성의 시간적 일관성을 향상시키기 위해.
• 신규 뷰 합성에서 최신 기술 수준의 성능을 달성하면서도 훈련 및 렌더링 속도를 크게 향상시키기 위해.

제안 방법

• 정적 가우시안 포인트에 주기적 진동을 통한 시간에 따라 변하는 가우시안 위치를 도입함: $\widetilde{\bm{\mu}}(t) = \bm{\mu} + \mathbf{A} \sin\left(\frac{2\pi t}{l}\right)$, 여기서 $l$은 사이클 길이를 제어하고 $\mathbf{A}$는 운동 진폭과 방향을 캡슐화한다.
• 신규 뷰 합성에서 운동 일관성을 향상시키고 깜빡임을 줄이기 위해 시나리오 플로우 기반의 시간적 스무딩 메커니즘을 도입한다.
• 특히 장거리에서의 무한 도시 환경에서 포인트 행동의 안정성을 높이기 위해 위치 인식 기반의 적응형 제어 전략을 활용한다.
• 다중 손실 항목을 통합: 깊이 손실 $\mathcal{L}_d$, 속도 손실 $\mathcal{L}_{\bm{v}}$, 투명도 손실 $\mathcal{L}_o$, 기하학적 및 외관 향상을 위한 하늘 영역 정밀 조정.
• LiDAR 감독과 새로운 시간에 의존하는 투명도 감쇠를 통합하여 재구성 정밀도 및 동적 요소의 분리도 향상시킨다.
• 지상 진단 옵티컬 플로우나 수동 애너테이션을 요구하지 않는 암시적 시나리오 플로우 추정을 활용한다.

실험 결과

연구 질문

• RQ1 명시적인 개체 수준 분해 없이도 통합된 3D 가우시안 스플래터링 표현이 대규모 도시 환경에서 정적 및 동적 요소를 효과적으로 표현할 수 있는가?
• RQ2 희소한 훈련 데이터 상황에서 시간적 일관성을 어떻게 향상시킬 수 있는가?
• RQ3 주기적 진동 동적 특성이 도시 환경의 다양한 운동 패턴을 포착하는 데에 선형 또는 정적 운동 모델보다 뛰어난가?
• RQ4 플로우 기반 시간적 스무딩 메커니즘이 깜빡임을 줄이고 렌더링 일관성을 어떻게 향상시킬 수 있는가?
• RQ5 제안된 방법은 NeRF 기반 대안 대비 뛰어난 신규 뷰 합성 성능을 달성하면서도 훈련 및 렌더링 속도를 크게 향상시킬 수 있는가?

주요 결과

• KITTI 벤치마크에서 PVG는 최신 기술 기준인 SUDS 대비 PSNR 11.4% 향상, SSIM 5.8% 향상, LPIPS 55.1% 감소를 달성했다.
• Waymo 오픈 데이터셋에서 PVG는 Mars 기준으로 PSNR 9.9% 향상, SSIM 4.7% 향상, LPIPS 20.6% 감소를 기록했다.
• SUDS(가장 성능이 뛰어난 베이스라인) 대비 훈련 속도 50배 향상, 렌더링 속도 6000배 향상된 것을 확인했다.
• 절단 실험 결과, 시나리오 플로우 기반 시간적 스무딩 메커니즘이 렌더링의 부드러움과 시간적 일관성을 향상시키며, 기능 활성화 시 PSNR가 27.77에서 28.11로 상승함을 입증했다.
• 최적의 사이클 길이 $l$은 매우 중요하다: 너무 짧으면 동적 표현이 열악해지고, 너무 길면 정적 영역에서 그림자 효과가 발생함. 중간 수준의 $l$에서 최고의 성능을 기록함.
• 위치 인식 기반 적응형 제어 전략은 장거리 뷰 재구성 성능을 크게 향상시키며, 속도 손실은 동적 및 정적 요소 간 명확한 분리에 기여한다.