[논문 리뷰] Learnable Multi-level Discrete Wavelet Transforms for 3D Gaussian Splatting Frequency Modulation

Hung Quoc Nguyen, An T. Le외 1명|arXiv (Cornell University)|2026. 02. 15.

Computer Graphics and Visualization Techniques인용 수 0

한 줄 요약

이 논문은 AutoOpti3DGS를 확장하여 3D Gaussian Splatting 중 주파수를 조절하기 위한 다단계 학습 가능한 DWT를 도입하고, 렌더링 품질을 유지하면서 Gaussian 개수를 줄이기 위해 단일 스케일링 파라미터를 사용합니다.

ABSTRACT

3D Gaussian Splatting (3DGS) has emerged as a powerful approach for novel view synthesis. However, the number of Gaussian primitives often grows substantially during training as finer scene details are reconstructed, leading to increased memory and storage costs. Recent coarse-to-fine strategies regulate Gaussian growth by modulating the frequency content of the ground-truth images. In particular, AutoOpti3DGS employs the learnable Discrete Wavelet Transform (DWT) to enable data-adaptive frequency modulation. Nevertheless, its modulation depth is limited by the 1-level DWT, and jointly optimizing wavelet regularization with 3D reconstruction introduces gradient competition that promotes excessive Gaussian densification. In this paper, we propose a multi-level DWT-based frequency modulation framework for 3DGS. By recursively decomposing the low-frequency subband, we construct a deeper curriculum that provides progressively coarser supervision during early training, consistently reducing Gaussian counts. Furthermore, we show that the modulation can be performed using only a single scaling parameter, rather than learning the full 2-tap high-pass filter. Experimental results on standard benchmarks demonstrate that our method further reduces Gaussian counts while maintaining competitive rendering quality.

연구 동기 및 목표

• 3D Gaussian Splatting (3DGS)에서 Gaussian 개수를 줄이되 렌더링 품질을 희생하지 않는 목표를 제시한다.
• 3DGS에서 데이터 적응적 거칠은-에서-정밀도 주파수 모듈레이션을 위한 다단계 이산 웨이블릿 변환(DWT) 프레임워크를 도입한다.
• 고활성 필터(high-pass) 파라미터의 학습 가능한 수를 단일 스케일링 인자 하나로 제한하여 gradient 간 경쟁을 완화한다.
• 더 깊은 DWT 레벨이 더 강한 초기 감독 신호와 추가적인 Gaussian 개수 감소를 가져오는지 보여준다.
• 표준 3DGS 벤치마크에서 낮아진 Gaussian 개수와 함께 baselines 대비 실증적 평가를 제공한다.

제안 방법

• LL 서브밴드를 재귀적으로 분해하여 더 깊은 주파수 모듈레이션 커리큘럼을 가능하게 하는 다단계 DWT로 AutoOpti3DGS 확장.
• DWT 필터를 Haar로 고정하고 고주파 분석 필터에서 단일 스케일링 파라미터 alpha를 학습하여 HF 내용을 제어한다.
• 별칭-상쇄(alias-cancellation) 및 왜곡 없음(no-distortion) 레 보를 통해 alpha를 정규화하고 재구성 충실도를 유지하는 Perfect Reconstruction 영감을 받은 잔차 손실을 적용한다.
• 다중 단계 DWT 기반 모듈레이션을 3DGS 학습 목표에 통합: L = L_3DGS + lambda_PR * L_PR, 여기서 L_PR은 alias와 distortion 항을 결합한다.
• LLFF(3 views) 및 Mip-NeRF 360(12 views)에서 Vanilla 3DGS, Opti3DGS, AutoOpti3DGS와 비교 평가한다.

실험 결과

연구 질문

• RQ1 다단계 DWT가 3DGS에서 1단계 DWT보다 더 깊고 효과적인 주파수 모듈레이션 커리큘럼을 제공하는가?
• RQ2 고주파(Mod HF) 모듈레이션이 고주파 필터를 위한 단일 스케일링 파라미터를 학습함으로써 gradient 충돌을 감소시켜 효과적으로 달성될 수 있는가?
• RQ3 다단계 DWT가 표준 3DGS 벤치마크에서 Gaussian 개수와 렌더링 품질에 어떤 영향을 미치는가?
• RQ4 더 깊은 DWT 레벨과 PSNR/SSIM/LPIPS 간 실제 트레이드오프는 무엇인가?

주요 결과

PSNR ( ↑ )	SSIM ( ↑ )	LPIPS ( ↓ )	#G ( ↓ )	Time ( ↓ ) (s)
Opti3DGS	19.59	0.660	0.228	247K	105
AutoOpti3DGS	20.29	0.703	0.200	249K	131
Ours	20.34	0.687	0.222	218K	142
3DGS	20.40	0.706	0.197	272K	109
Opti3DGS	19.19	0.552	0.360	636K	151
AutoOpti3DGS	19.24	0.541	0.381	615K	182
Ours	19.29	0.560	0.355	589K	200
3DGS	19.30	0.564	0.352	701K	155

• 다단계 DWT는 LLFF 및 Mip-NeRF 360 전반에 걸쳐 1단계 대비 Gaussian 개수를 더 많이 감소시킨다(대략 50K–100K 적은 Gaussian).
• 고주파 필터에 대해 단일 스케일링 파라미터를 사용하는 것이 학습된 전체 고주파 필터를 학습하는 것보다 Gaussian 개수를 더 감소시킨다.
• 더 깊은 DWT 레벨은 점진적으로 더 낮은 Gaussian 개수를 유도하지만 초기 재구성이 더 거칠어져 PSNR이 하락할 수 있어 모듈레이션 깊이와 재현성 사이의 트레이드오프를 나타낸다.
• 제안된 방법은 Opti3DGS 및 AutoOpti3DGS 대비 Gaussian 개수를 줄이면서도 경쟁력 있는 PSNR/SSIM/LPIPS를 달성하며, 소요 시간은 약 10–20초 정도 추가된다.
• 가장 성능이 좋은 구성은 DWT 깊이와 재구성 품질 간의 균형을 잘 이루며, 제안된 접근법이 렌더링 품질을 유지하면서 Gaussian 번식을 줄임을 보여준다.