[논문 리뷰] Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis

Jonathon Luiten, Georgios Kopanas외 2명|arXiv (Cornell University)|2023. 08. 18.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 동적 환경에서 동시에 6-DOF 고밀도 추적과 사진처럼 사실적인 신규 시점 합성 기능을 구현하는 새로운 방법인 동적 3D 가우시안을 소개한다. 장면 요소를 고정된 색상, 투명도, 크기로 유지하면서도 이동하고 회전하는 지속 가능한 3D 가우시안으로 모델링함으로써, 유연한 렌더링과 물리적 사전 지식(지역 강성 및 등장성)을 활용한 미분 가능 렌더링을 통해 정확한 메트릭 추적(평균 3D 오차 2.21cm)과 실시간 렌더링(850 FPS)을 실현한다. 이는 광학 흐름이나 대응 관계 입력 없이도 가능하다.

ABSTRACT

We present a method that simultaneously addresses the tasks of dynamic scene novel-view synthesis and six degree-of-freedom (6-DOF) tracking of all dense scene elements. We follow an analysis-by-synthesis framework, inspired by recent work that models scenes as a collection of 3D Gaussians which are optimized to reconstruct input images via differentiable rendering. To model dynamic scenes, we allow Gaussians to move and rotate over time while enforcing that they have persistent color, opacity, and size. By regularizing Gaussians' motion and rotation with local-rigidity constraints, we show that our Dynamic 3D Gaussians correctly model the same area of physical space over time, including the rotation of that space. Dense 6-DOF tracking and dynamic reconstruction emerges naturally from persistent dynamic view synthesis, without requiring any correspondence or flow as input. We demonstrate a large number of downstream applications enabled by our representation, including first-person view synthesis, dynamic compositional scene synthesis, and 4D video editing.

연구 동기 및 목표

• 광학 흐름이나 대응 관계 입력에 의존하지 않고도 동적 환경에서 모든 장면 요소에 대해 고밀도 장기 6-DOF 추적을 가능하게 하기.
• 지속 가능한 3D 표현을 활용해 동적 환경의 고해상도, 사진처럼 사실적인 신규 시점 합성을 달성하기.
• 후속 편집 및 시각화 작업을 지원하는 확장 가능한 실시간 동적 3D 재구성 방법 개발하기.
• 운동 정규화 및 공간 일관성 사전 지식을 통해 입자 기반 3D 표현에 물리적 타당성을 통합하기.
• 완전한 6-DOF 운동 복원 기능을 갖춘 동적 환경 모델링을 위한 엔드 투 엔드 미분 가능 최적화의 가능성 입증하기.

제안 방법

• 동적 환경를 시간에 따라 위치와 자세가 변화하는 3D 가우시안의 집합으로 표현하며, 색상, 투명도, 크기는 고정하여 지속성을 확보한다.
• 이미지 재구성 손실을 통한 미분 가능 렌더링을 활용해 가우시안 파라미터를 최적화함으로써 다중 시점 영상에서 엔드 투 엔드 학습을 가능하게 한다.
• 지역 강성, 회전 유사성, 장기 등장성 사전 지식을 통해 운동을 정규화하여 국소 영역의 물리적으로 타당하고 일관성 있는 움직임을 보장한다.
• 배경 분할 손실과 타임스텝 초기화를 위한 전진 전파 기법이 재구성 안정성과 시간적 일관성을 향상시킨다.
• 입자 기반 라그랑주 표현을 활용해 가우시안들을 독립적으로 조작할 수 있어 편집 및 카메라 부착이 가능하다.
• 모든 구성 요소는 분석-합성 프레임워크 내에서 공동 최적화되며, 정확한 장면 모델링에서 자연스럽게 추적 기능이 유도된다.

실험 결과

연구 질문

• RQ1 지속 가능한 입자 기반 3D 표현은 광학 흐름이나 대응 관계 입력 없이도 모든 장면 요소의 정확한 6-DOF 추적을 가능하게 할 수 있는가?
• RQ2 움직이는 3D 가우시안의 미분 가능 렌더링은 동적 환경에서 고해상도, 사진처럼 사실적인 신규 시점 합성을 달성할 수 있는가?
• RQ3 지역 강성 및 등장성과 같은 물리적 사전 지식은 운동 추정 안정성과 재구성 품질 향상에 얼마나 효과적인가?
• RQ4 동일한 표현 방식은 첫인칭 시점 합성 및 동적 객체 삽입과 같은 복잡한 편집 작업을 지원할 수 있는가?
• RQ5 이 방법은 고해상도, 다중 카메라 동적 시퀀스에서 실시간 학습 및 렌더링에 얼마나 잘 스케일링되는가?

주요 결과

• 150개 타임스텝과 27개 학습 카메라를 사용한 동적 신규 시점 렌더링에서 PSNR 28.7을 달성하였으며, 실시간 추론 속도는 850 FPS였다.
• 150개 타임스텝 동안 평균 3D 추적 오차가 단지 2.21cm에 그쳤으며, 이는 이전 최고 기술 대비 10배 향상된 성능이다.
• 2D 추적 지표는 정규화된 픽셀 오차 1.57을 기록하여 이전 방법들을 크게 앞서며 성능을 뛰어넘었다.
• 이 방법은 기울기까지 포함한 완전한 6-DOF 추적을 지원하여, 동적 가우시안에 카메라를 부착해 첫인칭 또는 물체 기준 시점 시각화를 가능하게 했다.
• 절단 실험 결과, 강성 손실, 배경 분할, 파라미터 고정이 고품질 추적 및 시점 합성에 필수적임을 확인했다.
• 로고 삽입이나 객체 추가와 같은 편집 작업이 가우시안의 지속성과 독립성 덕분에 모든 타임스텝에 자연스럽게 전파되었다.