[논문 리뷰] SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes

Yihua Huang, Yang-Tian Sun외 4명|arXiv (Cornell University)|2023. 12. 04.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 3D 가우시안에 대한 6 DoF 운동장에 대해 희소 제어점과 변형 MLP를 사용하여 편집 가능한 동적 시나리오 재구성 방법인 SC-GS를 제안한다. 운동과 외관을 분리하고 ARAP 손실을 통해 局부 강성 조건을 부여함으로써, 실시간 속도에서 고해상도의 새로운 시점 합성 성능을 달성하면서도 사용자가 쉽게 제어할 수 있는 운동 편집이 가능하며, 품질과 효율성 면에서 이전 방법들을 능가한다.

ABSTRACT

Novel view synthesis for dynamic scenes is still a challenging problem in computer vision and graphics. Recently, Gaussian splatting has emerged as a robust technique to represent static scenes and enable high-quality and real-time novel view synthesis. Building upon this technique, we propose a new representation that explicitly decomposes the motion and appearance of dynamic scenes into sparse control points and dense Gaussians, respectively. Our key idea is to use sparse control points, significantly fewer in number than the Gaussians, to learn compact 6 DoF transformation bases, which can be locally interpolated through learned interpolation weights to yield the motion field of 3D Gaussians. We employ a deformation MLP to predict time-varying 6 DoF transformations for each control point, which reduces learning complexities, enhances learning abilities, and facilitates obtaining temporal and spatial coherent motion patterns. Then, we jointly learn the 3D Gaussians, the canonical space locations of control points, and the deformation MLP to reconstruct the appearance, geometry, and dynamics of 3D scenes. During learning, the location and number of control points are adaptively adjusted to accommodate varying motion complexities in different regions, and an ARAP loss following the principle of as rigid as possible is developed to enforce spatial continuity and local rigidity of learned motions. Finally, thanks to the explicit sparse motion representation and its decomposition from appearance, our method can enable user-controlled motion editing while retaining high-fidelity appearances. Extensive experiments demonstrate that our approach outperforms existing approaches on novel view synthesis with a high rendering speed and enables novel appearance-preserved motion editing applications. Project page: https://yihua7.github.io/SC-GS-web/

연구 동기 및 목표

• 단일 뷰 영상에서 고품질 실시간 새로운 시점 합성 문제를 해결하기 위해.
• 고품질 외관을 유지하면서 3D 시나리오에서 사용자 제어 운동 편집을 가능하게 하기 위해.
• 희소하고 학습 가능한 운동 표현을 도입하여 가우시안 스플래팅에서의 운동 모델링의 복잡성과 노이즈를 감소시키기 위해.
• 국부적 강성 제약 조건을 통해 동적 시나리오의 공간적 및 시간적 일관성을 향상시키기 위해.
• 단일 뷰 영상 입력을 바탕으로 3D 가우시안, 제어점 위치, 변형 네트워크를 종합 최적화하여 종단 간 동적 시나리오 재구성하기를 위해.

제안 방법

• 6 DoF 운동장에 대한 압축된 기저로 희소 제어점(≈512개)을 도입하여 기존 100K개의 가우시안보다 훨씬 적은 수의 점을 사용한다.
• 시간 및 위치 조건에 따라 작동하는 MLP를 사용하여 각 제어점에 대해 시간에 따라 변하는 6 DoF 변환(쿼aternion 회전 + 이동)을 예측한다.
• 제어점 변환의 국부적 보간을 적용하여 조밀한 가우시안을 구동함으로써 매끄럽고 일관된 운동장 생성을 가능하게 한다.
• 국부적 운동 복잡도에 따라 제어점의 수와 위치를 동적으로 조정하는 적응 전략을 도입한다.
• 제어점의 운동에서 국부적 강성과 공간 연속성을 강제하기 위해 ARAP(가장 강성에 가까운) 손실을 도입한다.
• 단일 뷰 영상 입력을 기반으로 3D 가우시안 파라미터, 캐논리컬 제어점 위치, 변형 MLP를 종합 최적화한다.

실험 결과

연구 질문

• RQ1 희소 제어점 표현이 복잡한 동적 시나리오 운동을 효과적으로 모델링하면서도 고해상도 렌더링 품질을 유지할 수 있는가?
• RQ2 시간과 위치에 조건화된 변형 MLP는 직접적인 가우시안 운동 예측에 비해 운동 일반화 및 일관성 향상에 어떻게 기여하는가?
• RQ3 ARAP 손실을 통한 국부적 강성 강제 조건이 운동 아티팩트를 줄이고 시간적 일관성을 향상시키는 데 어느 정도 기여하는가?
• RQ4 제어점을 통한 명시적 운동 표현이 학습 시퀀스를 초월해 직관적인 사용자 기반 운동 편집을 가능하게 하는가?
• RQ5 SC-GS는 새로운 시점 합성 및 운동 편집에서 SOTA 기법들과 비교해 정량적·정성적으로 어떻게 성능을 냈는가?

주요 결과

• D-NeRF 데이터셋에서 SC-GS는 PSNR 43.307, SSIM 0.9976, LPIPS 0.0063을 기록하여 제어점이 있는/없는 베이스라인 모두를 능가한다.
• 제거 실험 결과 제어점을 제거하면 PSNR가 4.795점 감소함으로써, 제어점이 일반화 및 노이즈 감소에 핵심적인 역할을 한다는 것을 입증한다.
• ARAP 손실을 제거하면 LPIPS가 0.0063에서 0.0067로 증가하고 운동 아티팩트가 발생함으로써, 이 손실이 강성 강제 조건에 효과적임을 확인한다.
• 편집 결과를 통해 볼 때, 새로운 운동 패턴에 잘 일반화되어 편집된 궤적은 매끄럽고 타당한 상태를 유지함을 보여준다.
• 특수 반사가 강한 어려운 시나리오에서도 고속의 렌더링 성능을 유지하면서 최신 기술 수준의 시각적 품질을 달성한다.
• 제어점을 조작하여 사용자가 편집 가능한 운동 편집이 가능하며, 이는 이전의 NeRF 및 가우시안 기반 방법에서는 없던 기능이다.