[논문 리뷰] Flexible Techniques for Differentiable Rendering with 3D Gaussians

Leonid Keselman, Martial Hebert|arXiv (Cornell University)|2023. 08. 28.

Advanced Vision and Imaging인용 수 12

한 줄 요약

이 논문은 3D 가우시안으로 차별화 가능한 렌더링을 강화하여 강건한 단순화, 픽셀 단위의 차분 가능한 광학 흐름, 포아송 표면 재구성을 통한 메시 내보내기, 그리고 3D 가우시안 방법 간 상호 운용성을 추가함으로써 CPU/GPU에서 빠르고 유연한 형상 재구성을 가능하게 한다.

ABSTRACT

Fast, reliable shape reconstruction is an essential ingredient in many computer vision applications. Neural Radiance Fields demonstrated that photorealistic novel view synthesis is within reach, but was gated by performance requirements for fast reconstruction of real scenes and objects. Several recent approaches have built on alternative shape representations, in particular, 3D Gaussians. We develop extensions to these renderers, such as integrating differentiable optical flow, exporting watertight meshes and rendering per-ray normals. Additionally, we show how two of the recent methods are interoperable with each other. These reconstructions are quick, robust, and easily performed on GPU or CPU. For code and visual examples, see https://leonidk.github.io/fmb-plus

연구 동기 및 목표

• 데이터셋 편향 없이 형상 재구성을 위한 3D 가우시안의 빠르고 차별 가능 렌더링을 향상시키다.
• 하이퍼파라미터를 제거하고 강인성을 향상시키기 위한 단순화된 파라미터화 도입.
• 재구성을 규칙화하기 위해 픽셀 단위의 미분 가능 광류를 도입.
• 가우시안 기반 형태로부터 밀폐된 메쉬를 내보내는 신뢰할 수 있는 경로를 제공.
• Fuzzy Metaballs와 3D Gaussian Splatting 구현 간의 상호 운용성을 시연.

제안 방법

• 섹션 3.2에서 Fuzzy Metaballs의 특정 하이퍼파라미터를 제거한 가우시안 렌더링의 단순화된 두 매개변수 모델을 제시한다.
• 정렬이 필요 없고 차별 가능하며 매개변수 없이 하이퍼파라미터가 없는 알파 합성 변형을 제공한다(섹션 3.3).
• 미분 가능 렌더러로부터 광선당 광류를 계산하고 이를 흐름 손실로 사용하여 형상 추정을 개선한다(섹션 5).
• 가우시안 프리미티브에서 렌더링된 방향성 점 구름에 대해 포아송 표면 재구성을 해결하여 밀폐된 메쉬를 내보낸다(섹션 6).
• Fuzzy Metaballs와 3D Gaussian Splatting 표현 간의 출력을 변환해 상호 운용성을 시연한다(섹션 7).
• 최적화 중 혼합물을 재파라미터화하기 위한 결정적 가우시안 분할 체계를 제안한다(섹션 8).

(a) Fuzzy Metaballs [ 34 ] raytraced dozens of Gaussians, used random initialization, and estimated geometry and pose for objects.

실험 결과

연구 질문

• RQ1 효과적인 형상 재구성을 위한 최소한의 하이퍼파라미터로 3D 가우시안 기반 표현을 차별 가능하게 렌더링하려면 어떻게 해야 하는가?
• RQ2 픽셀 단위 광류가 3D 가우시안 기반 재구성의 정확도와 안정성을 향상시킬 수 있는가?
• RQ3 포아송 표면 재구성을 사용하여 가우시안 기반 암묵 표면에서 밀폐된 메쉬를 내보내는 것이 가능한가?
• RQ4 Fuzzy Metaballs와 3D Gaussian Splatting이 상호 운용 가능하여 교차 방법 렌더링 및 내보내기를 가능하게 하는가?
• RQ5 최적화 중 디테일 개선을 위해 가우시안의 수를 결정적 분할을 통해 적응적으로 재매개변수화할 수 있는가?

주요 결과

실험	깊이 오차	실행 시간 (초)
No Color or Flow	0.271	17
Color	0.262	15
Color & Classic Flow [13]	0.237	14
Color & Learned Flow [70]	0.155	15

• 단순화된 두 매개변수 렌더링 모델은 재구성 품질을 유지하면서 이전의 다수 하이퍼파라미터를 제거한다.
• 하이퍼파라미터가 없는 알파 합성 변형은 매개변수화 방법과 비슷한 결과를 보이는 대체 렌더링 경로를 제공합니다.
• 픽셀 단위 광류를 도입하면 3D 형상 재구성 정확도가 향상되고 깊이 맵이 더 매끄럽게 나타나지만 색상 충실도는 다소 감소할 수 있다.
• 가우시안 프리미티브에서 렌더링된 방향성 점 구름으로부터 포아송 표면 재구성을 통해 밀폐된 메쉬를 생성할 수 있다.
• Fuzzy Metaballs와 3D Gaussian Splatting 표현은 상호 운용 가능하여 교차 방법 렌더링 및 메쉬 내보내기를 가능하게 한다.
• 결정적 가우시안 분할 전략은 최적화 도중 형상 세부 정보를 점진적으로 정제할 수 있게 한다.

(b) 3D Gaussian Splatting [ 33 ] splatted millions of Gaussians, used SfM [ 61 ] initialization, and synthesized novel views for scenes.