[논문 리뷰] Trim 3D Gaussian Splatting for Accurate Geometry Representation

Lue Fan, Yuxue Yang외 3명|arXiv (Cornell University)|2024. 06. 11.

Image Processing and 3D Reconstruction인용 수 4

한 줄 요약

이 논문은 렲영 품질이 높음에도 불구하고 기하학적 왜곡이 발생하는 3D 가우시안 스플래터링(3DGS) 문제를 해결하기 위해 기여도 기반의 절단과 작은 스케일의 가우시안을 유지하는 방식을 통해 정밀한 기하학적 재구성 성능을 향상시키는 새로운 방법인 Trim 3D 가우시안 스플래터링(TrimGS)을 제안한다. 기여도 기반 절단, 스케일 제어, 법선 일致성 정규화를 통합함으로써, 기준 3DGS 및 2DGS 방법 대비 뛰어난 기하학적 정확도와 시각적 품질을 달성한다.

ABSTRACT

In this paper, we introduce Trim 3D Gaussian Splatting (TrimGS) to reconstruct accurate 3D geometry from images. Previous arts for geometry reconstruction from 3D Gaussians mainly focus on exploring strong geometry regularization. Instead, from a fresh perspective, we propose to obtain accurate 3D geometry of a scene by Gaussian trimming, which selectively removes the inaccurate geometry while preserving accurate structures. To achieve this, we analyze the contributions of individual 3D Gaussians and propose a contribution-based trimming strategy to remove the redundant or inaccurate Gaussians. Furthermore, our experimental and theoretical analyses reveal that a relatively small Gaussian scale is a non-negligible factor in representing and optimizing the intricate details. Therefore the proposed TrimGS maintains relatively small Gaussian scales. In addition, TrimGS is also compatible with the effective geometry regularization strategies in previous arts. When combined with the original 3DGS and the state-of-the-art 2DGS, TrimGS consistently yields more accurate geometry and higher perceptual quality. Our project page is https://trimgs.github.io

연구 동기 및 목표

• 고품질의 렌더링을 제공함에도 불구하고 기하학적 왜곡이 발생하는 3D 가우시안 스플래터링(3DGS)에서의 문제를 해결하기 위해.
• 강한 기하학적 정규화에만 의존하지 않고, 정확도가 떨어지거나 중복되는 성분을 제거하는 새로운 전략인 가우시안 절단을 제안하기 위해.
• 가우시안 스케일이 기하학적 표현과 최적화 과정에 미치는 영향을 분석하여, 큰 가우시안이 세부 정보 유지와 기울기 안정성에 악영향을 준다는 것을 밝히기 위해.
• 기존 3DGS 및 2DGS 프레임워크와 호환되는 일반적인 방법을 개발하여 기하학적 정확도와 시각적 렌더링 품질을 동시에 향상시키기 위해.

제안 방법

• 각 가우시안의 렌더링에 미치는 영향을 평가하기 위해 알파 블렌딩 가중치에서 유도된 기여도 기반 메트릭을 도입하여 절단 결정을 안내한다.
• 낮은 기여도를 보이는 가우시안을 점진적으로 제거하면서도 기하학적 정확도에 필수적인 요소는 유지하는 점진적 절단 전략을 제안한다.
• 밀도 증가 과정에서 스케일 제어를 구현하여 상대적으로 작은 가우시안 스케일을 유지함으로써 고주파수 세부 정보 표현 능력을 향상시키고 기울기 노이즈를 감소시킨다.
• 기하학적 최적화의 안정성과 표면 정확도 향상을 위해 법선 일치성 정규화를 통합한다.
• 3DGS 및 2DGS와 호환되는 통합 프레임워크 내에서 절단, 스케일 제어, 정규화를 결합한 학습 파이프라인을 설계한다.
• 절단의 공격성과 기하학적 정확도의 균형을 맞추기 위해 Eq. 5에 기반한 감마 제어 임계값 메커니즘을 활용한다.

실험 결과

연구 질문

• RQ1 기여도 평가 기반의 가우시안 절단 전략이 전통적인 기하학적 정규화를 넘어서 3D 기하학적 재구성 성능을 향상시킬 수 있는가?
• RQ2 가우시안 스케일은 3DGS에서 최적화 과정과 세부 정보 표현에 어떤 영향을 미치는가?
• RQ3 작은 가우시안 스케일을 유지할 경우 세밀한 기하학적 및 외관 세부 정보의 유지에 유리한가?
• RQ4 기존의 정규화 기법(예: 법선 일치성)과 절단을 조합할 경우, 렌더링 품질 저하 없이 얼마나 효과적으로 기능하는가?
• RQ5 최신 2DGS 및 3DGS 방법과 비교해 본다면, 제안된 방법은 기하학적 정확도와 시각적 품질 측면에서 어느 정도 뛰어난가?

주요 결과

• DTU 데이터셋에서 기준 3DGS 대비 TrimGS는 평균 카프먼 거리(CD)를 최대 30% 감소시켰으며, 최적의 절단 조건에서 CD 값은 1.45에서 0.82로 감소하였다.
• MipNeRF360 벤치마크에서 Trim2DGS는 2DGS 대비 LPIPS에서 19.3% 향상(0.193 vs. 0.218)을 기록하여 시각적 품질이 뚜렷이 향상됨을 확인하였다.
• 스케일 제어 없이 적용한 Trim2DGS는 LPIPS가 15% 증가(0.218 vs. 0.193)하여 스케일 제어가 세부 정보 유지에 핵심적임을 입증하였다.
• 기하학적 정확도 향상과 함께 고수준의 PSNR(예: MipNeRF360 기준 29.98)를 유지함으로써, 렌더링 품질과 기하학적 정확도 사이의 균형을 잘 확보하고 있음을 보여주었다.
• 시각화 결과, Trim2DGS는 더 균일하게 분포된 가우시안을 생성하고 저장 용량을 감소시켰으며, 꽃과 자전거 시나리오에서 뚜렷한 개선이 관찰되었다.
• 이론적 및 실증적 분석을 통해 큰 가우시안은 노이즈가 많은 기울기와 고주파수 세부 정보 표현 능력의 한계를 겪는다는 것이 확인되었다.