[논문 리뷰] Mip-Splatting: Alias-free 3D Gaussian Splatting

Zehao Yu, Anpei Chen외 3명|arXiv (Cornell University)|2023. 11. 27.

Advanced Vision and Imaging인용 수 5

한 줄 요약

Mip-Splatting는 3D 가우시안 스플래터링(3DGS)에서 카메라 샘플링 속도를 변경할 때 발생하는 앨리어싱 및 팽창 아티팩트를 제거하기 위해 3D 스무딩 필터와 2D Mip 필터를 도입한다. 뉴퀴스트 한계를 기반으로 3D 가우시안 주파수를 제약하고, 2D 팽창 필터를 상자 필터를 모방하는 Mip 필터로 대체함으로써, 줌 인 및 줌 아웃 시나리오에서 앨리어징 없는 렌더링을 가능하게 하며, 최소한의 코드 변경으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recently, 3D Gaussian Splatting has demonstrated impressive novel view synthesis results, reaching high fidelity and efficiency. However, strong artifacts can be observed when changing the sampling rate, \eg, by changing focal length or camera distance. We find that the source for this phenomenon can be attributed to the lack of 3D frequency constraints and the usage of a 2D dilation filter. To address this problem, we introduce a 3D smoothing filter which constrains the size of the 3D Gaussian primitives based on the maximal sampling frequency induced by the input views, eliminating high-frequency artifacts when zooming in. Moreover, replacing 2D dilation with a 2D Mip filter, which simulates a 2D box filter, effectively mitigates aliasing and dilation issues. Our evaluation, including scenarios such a training on single-scale images and testing on multiple scales, validates the effectiveness of our approach.

연구 동기 및 목표

• 카메라 초점 거리나 거리 변경 시 3D 가우시안 스플래터링에서 발생하는 심각한 렌더링 아티팩트, 특히 앨리어징과 팽창 효과를 해결하기 위해.
• 줌 인 시 고주파 아티팩트를 유발하는 3DGS의 내재적 수축 편향과 주파수 오버플로우 문제를 해결하기 위해.
• 단일 스케일에서 훈련함으로써 다양한 스케일에서 정확하게 렌더링할 수 있도록 분포 외 일반화를 가능하게 하기 위해.
• 2D 팽창 필터를 물리적 영상 과정의 상자 필터를 모방하는 Mip 필터로 대체하여 앨리어징을 감소시키기 위해.

제안 방법

• 입력 뷰 샘플링 속도를 기반으로 뉴퀴스트-샤논 샘플링 정리에 따라 3D 가우시안 프리미티브의 최대 주파수를 정규화하는 3D 스무딩 필터를 도입한다.
• 최적화 중 3D 공간에서 저역통과 필터를 적용하여 고주파 성분을 제약함으로써 3D 표현이 샘플링 한계 내에 머무르도록 보장한다.
• 2D 팽창 필터를 2D 상자 필터를 가우시안 저역통과 필터로 근사화한 2D Mip 필터로 대체하여 앨리어징 및 팽창 아티팩트를 효과적으로 완화한다.
• 폐쇄형 수식을 활용한 수정을 3DGS 파이프라인에 적용하여 최소한의 코드 변경으로 기존 GPU 래스터라이제이션과의 호환성을 유지한다.
• 훈련 후 3D 스무딩 필터가 시점이나 샘플링 속도에 관계없이 시나리오 표현의 내재적 부분이 되도록 보장한다.
• Mip 필터의 다중 스케일 성질을 활용하여 훈련 해상도와 다를 경우에도 정확한 렌더링을 가능하게 하며, 줌 인 및 줄어든 해상도 시나리오를 포함한다.

실험 결과

연구 질문

• RQ1 줌 인 시 3D 주파수 제약이 3D 가우시안 스플래터링에서 고주파 아티팩트를 제거할 수 있는가?
• RQ2 2D 팽창 필터를 Mip 필터로 대체하면 줌 아웃 시 앨리어징과 팽창 아티팩트가 감소하는가?
• RQ3 단일 스케일 훈련 설정이 여러 샘플링 속도에서 성능 저하 없이 고품질 렌더링을 생성할 수 있는가?
• RQ4 제안된 방법은 Mip-NeRF 및 Tri-MipRF와 같은 최신 기술 대비 분포 외 일반화에서 어떻게 비교되는가?
• RQ5 3D 스무딩 필터가 과도하게 작은 가우시안 생성을 방지하여 메모리 오버플로우를 어느 정도 막을 수 있는가?

주요 결과

• Mip-Splatting는 줌 인 시나리오에서 고주파 아티팩트를 제거하며, 블렌더 데이터셋에서 8배 높은 해상도 렌더링에서 거의 완벽한 재구성 성능을 보였다.
• Mip-NeRF 360 데이터셋에서 Mip-Splatting는 동일 스케일 훈련 시 3DGS 및 3DGS + EWA와 유사한 성능을 달성했으며, 다중 스케일 테스트에서는 상당한 우월성을 보였다.
• 단일 스케일 훈련에서 다중 스케일 테스트를 수행할 경우, Mip-Splatting는 1/4× 및 1/8×로 리샘플링된 해상도에서도 높은 정밀도를 유지하며, 3DGS 및 3DGS + EWA를 압도했다.
• Mip-Splatting는 Mip-NeRF 및 Tri-MipRF와 달리 다중 스케일 훈련 데이터가 필요 없이 다양한 스케일에서 앨리어징 없는 렌더링을 구현했다.
• 3D 스무딩과 Mip 필터링의 조합은 과도하게 작은 가우시안으로 인한 메모리 오버플로우를 방지하여, 고밀도 시나리오에서도 A100 GPU에서 안정적인 훈련을 가능하게 했다.
• 정성적 결과에서는 Mip-Splatting 렌더링이 특히 줌 인 시나리오에서 정답과 유사하게 나타났으며, 3DGS + EWA는 명백한 고주파 아티팩트를 보였다.