[논문 리뷰] GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting

Joanna Waczyńska, Piotr Borycki외 3명|arXiv (Cornell University)|2024. 02. 02.

Perovskite Materials and Applications인용 수 10

한 줄 요약

GaMeS는 Gaussian Splatting을 메쉬 면에 바인딩하여 메시는 변경될 때 Gaussian 구성요소의 자동 적응과 실시간 편집을 가능하게 하여 3D 장면의 편집 가능한 실시간 렌더링을 구현한다.

ABSTRACT

Gaussian Splatting (GS) is a novel, state-of-the-art technique for rendering points in a 3D scene by approximating their contribution to image pixels through Gaussian distributions, warranting fast training and real-time rendering. The main drawback of GS is the absence of a well-defined approach for its conditioning due to the necessity of conditioning several hundred thousand Gaussian components. To solve this, we introduce the Gaussian Mesh Splatting (GaMeS) model, which allows modification of Gaussian components in a similar way as meshes. We parameterize each Gaussian component by the vertices of the mesh face. Furthermore, our model needs mesh initialization on input or estimated mesh during training. We also define Gaussian splats solely based on their location on the mesh, allowing for automatic adjustments in position, scale, and rotation during animation. As a result, we obtain a real-time rendering of editable GS.

연구 동기 및 목표

• NeRFs와 비교하여 더 빠르고 편집 가능한 3D 장면 렌더링을 목표로 한다.
• 메시 기반 Gaussian Splatting(GaMeS) 표현을 도입하여 메시 변화에 따라 Gaussian를 실시간으로 수정하고 애니메이션화할 수 있게 한다.
• GaMeS가 명시적 입력 메시의 여부에 관계없이 작동할 수 있으며, 의사 메시(pseudo-mesh)나 FLAME 기반 메시로 초기화될 수 있음을 보인다.
• 여러 데이터셋에서 경쟁력 있는 렌더링 품질을 입증하면서도 효율적이고 단일 단계 학습 및 편집을 가능하게 한다.

제안 방법

• 각 Gaussian를 메쉬 면의 정점으로 매개화하여 메쉬 표면에 Gaussian를 배치한다.
• 가우시안의 평균이 면 정점의 볼록 조합이 되도록 하여 면 중심과의 정렬을 유지한다.
• 공분산 Sigma를 Sigma = R^T S R의 분해 형태로 표현하며, 여기서 R은 면에 정렬된 회전이고 S는 대각 스케일링이다; 표면에 위치하도록 첫 번째 스케일 구성요소를 작은 epsilon로 고정한다.
• 메시 기반 GaMeS와 의사 메시 기반 GaMeS를 모두 허용한다; 메시가 없을 때는 추정된 면에 대해 Gaussian를 구성요소별로 재매개화하여 의사 메시를 추론한다.
• 메시와 가우시안 매개변수를 함께 최적화하는 단일 단계 학습 체계를 제공하여 메시 편집 시 실시간 조정이 가능하게 한다.
• 인간 얼굴 실험을 위해 FLAME을 사용하여 메시를 선택적으로 초기화하고 GaMeS를 학습시켜 편집 가능하고 애니메이션화된 결과를 달성한다.

Figure 2 : GaMeS can be effectively trained on large scenes to allow their modifications while preserving high-quality renders.

실험 결과

연구 질문

• RQ1 GaMeS가 최첨단 Gaussian Splatting(GS) 방법들과 비견될 만한 렌더링 품질을 달성하면서도 편집 가능한 메시 바인딩 Gaussian 구성요소를 가능하게 할 수 있는가?
• RQ2 가우시안을 메시 면에 바인딩하는 것이 학습 및 추론 중 메시 편집이 Gaussian의 매개변수(평균 및 공분산)에 자동으로 전파되도록 하는가?
• RQ3 GaMeS가 기존 메시와 학습 중 생성된 의사 메시 모두에서 유효한가이며, FLAME을 포함한 초기화가 성능에 어떤 영향을 미치는가?
• RQ4 면당 Gaussian 수량과 메시 면 분할이 렌더링 품질 및 학습 시간에 어떤 영향을 미치는가?
• RQ5 정적 GS와 비교하여 애니메이션화되거나 동적으로 편집되는 시나리오에서 GaMeS가 어떠한 성능을 보이는가?

주요 결과

• GaMeS는 NeRF-Synthetic 및 Mip-NeRF360 데이터셋에서 기준선과 비교할 만한 PSNR 결과를 산출한다.
• GaMeS는 메시 수정이 Gaussian 평균 및 공분산으로 자동 전파되는 실시간 편집을 가능하게 하여 변환 중에 높은 렌더링 품질을 유지한다.
• GaMeS는 기존 메시, 의사 메시 초기화 및 FLAME 기반 인간 얼굴 초기화를 지원하여 객체와 장면 전반에 걸친 유연성을 보인다.
• 의사 메시(하나의 면당 하나의 Gaussian)를 사용하면 고비용 전처리 없이 Gaussian를 편집할 수 있어 GS 변형과 근접한 결과를 얻는다.
• 큰 메시 면을 세분화하면 큰 메시 변형이 있을 때 견고성과 렌더링 품질이 향상된다.
• 추론 및 편집은 정적 GS 렌더링에 비해 빠르게 수행할 수 있으며, 학습 시간은 장면 복잡도에 따라 분에서 한 시간 미만까지 소요된다.

Figure 3 : Visualization of affine transformation of Gaussian components when we modify mesh. Mesh vertices parameterize the mean and covariance matrix of Gaussian. Therefore, such parameters update when we change the mesh.