[논문 리뷰] SA-GS: Scale-Adaptive Gaussian Splatting for Training-Free Anti-Aliasing

Xiaowei Song, Jv Zheng외 6명|arXiv (Cornell University)|2024. 03. 28.

Face and Expression Recognition인용 수 5

한 줄 요약

이 논문은 렌더링 주파수의 변화에 관계없이 일관된 가우시안 투영 스케일을 유지하기 위해 테스트 시점에 2D 스케일 적응형 필터를 적용하는 훈련 없음 방법인 SA-GS를 제안한다. 슈퍼샘플링과 그 극한 경우(적분)를 통합함으로써, 특히 줌아웃 조건에서 최신 기술 수준의 애리어징 성능을 달성하며, 재훈련이 필요 없이 Mip-Splatting을 초월한다.

ABSTRACT

In this paper, we present a Scale-adaptive method for Anti-aliasing Gaussian Splatting (SA-GS). While the state-of-the-art method Mip-Splatting needs modifying the training procedure of Gaussian splatting, our method functions at test-time and is training-free. Specifically, SA-GS can be applied to any pretrained Gaussian splatting field as a plugin to significantly improve the field's anti-alising performance. The core technique is to apply 2D scale-adaptive filters to each Gaussian during test time. As pointed out by Mip-Splatting, observing Gaussians at different frequencies leads to mismatches between the Gaussian scales during training and testing. Mip-Splatting resolves this issue using 3D smoothing and 2D Mip filters, which are unfortunately not aware of testing frequency. In this work, we show that a 2D scale-adaptive filter that is informed of testing frequency can effectively match the Gaussian scale, thus making the Gaussian primitive distribution remain consistent across different testing frequencies. When scale inconsistency is eliminated, sampling rates smaller than the scene frequency result in conventional jaggedness, and we propose to integrate the projected 2D Gaussian within each pixel during testing. This integration is actually a limiting case of super-sampling, which significantly improves anti-aliasing performance over vanilla Gaussian Splatting. Through extensive experiments using various settings and both bounded and unbounded scenes, we show SA-GS performs comparably with or better than Mip-Splatting. Note that super-sampling and integration are only effective when our scale-adaptive filtering is activated. Our codes, data and models are available at https://github.com/zsy1987/SA-GS.

연구 동기 및 목표

• 다른 줌 레벨이나 렌더링 주파수에서 3D 가우시안 스플래터링에서 가우시안 스케일 불일치 문제를 해결하기 위해.
• 훈련 과정을 수정하지 않고도 3DGS의 애리어징 성능을 향상시켜 기존 모델과 즉각 통합할 수 있도록 하기 위해.
• 테스트 시점 주파수에 따라 필터 스케일을 적응적으로 조정하여 다양한 카메라 파라미터에서도 가우시안의 일관된 2D 투영 분포를 유지하기 위해.
• 스케일 일관성이 확보된 상태에서 슈퍼샘플링과 그 극한 경우(적분)를 효과적인 애리어징 기법으로 활용하기 위해.
• 슈퍼샘플링에서 얻는 애리어징 성능 향상이 제안된 필터를 통해 스케일 일관성이 유지될 때에만 효과적임을 입증하기 위해.

제안 방법

• 추론 시점에 2D 스케일 적응형 필터를 적용하여 테스트 시점 주파수에 따라 동적으로 필터 크기를 조정함으로써, 일관된 가우시안 투영 스케일을 보장한다.
• 고정된 2D 확장, 3D 스무딩 + 2D Mip 필터링 방식으로 인해 발생하는 스케일 불일치 문제를 보완하며, 이는 테스트 시점 파라미터를 고려하지 않는 방식이다.
• 각 픽셀 내에서 투영된 가우시안을 통합하기 위해 슈퍼샘플링을 적용함으로써, 낮은 샘플링 레이트에서 네이퀴스트 기준을 효과적으로 충족시킨다.
• 슈퍼샘플링의 극한 경우인 픽셀 단위의 적분을 사용하여 줌아웃 렌더링 시 애리어징 품질을 더욱 향상시킨다.
• 모든 사전 훈련된 3DGS 모델과 완전히 호환되며, 재훈련이나 아키텍처 변경 없이 플러그인 방식으로 통합 가능하다.
• 이 방법은 경계가 있는(예: Blender) 및 경계가 없는 시나리오 모두에서 평가되었으며, 다양한 렌더링 조건에서도 강건함을 입증하였다.

실험 결과

연구 질문

• RQ1 테스트 시점에만 적용되는 훈련 없음 방법이 다양한 렌더링 주파수에서 3D 가우시안 스플래터링의 가우시안 스케일 불일치 문제를 효과적으로 해결할 수 있는가?
• RQ2 추론 시점에 스케일 적응형 필터링이 고정 또는 훈련 의존적 필터보다 더 일관된 2D 가우시안 투영을 제공하는가?
• RQ3 스케일 일관성이 확보된 상태에서 슈퍼샘플링과 적분이 애리어징 성능 향상에 상당한 기여를 할 수 있는가?
• RQ4 애리어징 품질과 추론 효율성 측면에서 Mip-Splatting에 비해 제안된 방법은 어떻게 비교되는가?
• RQ5 슈퍼샘플링과 적분의 성능 향상이 사전에 스케일 일관성이 확보되어야만 가능한가?

주요 결과

• 슈퍼샘플링을 적용한 SA-GS($SA\text{-}GS_{sup}$)는 블렌더 데이터셋에서 줌아웃 조건 하에서 단일 스케일 훈련 및 다중 스케일 테스트 시 Mip-Splatting 대비 3.61 dB의 PSNR 향상을 달성했다.
• 적분 버전($SA\text{-}GS_{int}$)은 1/8 해상도에서 PSNR 35.64를 기록하여, 낮은 샘플링 레이트에서 3DGS 및 Mip-Splatting보다 애리어징 품질에서 뛰어난 성능을 보였다.
• 스케일 적응형 필터링 버전($SA\text{-}GS_{fil}$)은 줌인 시나리오에서 Mip-Splatting와 유사한 성능을 달성하면서도 훈련 없이 유지되었다.
• 슈퍼샘플링과 적분은 스케일 적응형 필터링과 결합된 경우에만 상당한 애리어징 향상 효과를 보이며, 스케일 일관성이 필수임을 확인했다.
• 슈퍼샘플링 및 적분 모드는 기존 3DGS 대비 렌더링 시간이 약 15–20% 증가하지만, 이는 상당한 애리어징 성능 향상으로 상쇄된다.
• 이 방법은 경계가 있는 및 경계가 없는 시나리오 모두에서 강건하며, 다양한 카메라 설정에서도 일관된 성능 향상을 보였다.