[論文レビュー] Learnable Multi-level Discrete Wavelet Transforms for 3D Gaussian Splatting Frequency Modulation

Hung Quoc Nguyen, An T. Le+1 more|arXiv (Cornell University)|Feb 15, 2026

Computer Graphics and Visualization Techniques被引用数 0

ひとこと要約

この論文は AutoOpti3DGS を拡張し、3D ガウシアンスプランティング中の周波数を階層的に調整する学習可能な DWT を導入することで、単一のスケーリングパラメータを用いてガウシアン数を削減しつつレンダリング品質を維持します。

ABSTRACT

3D Gaussian Splatting (3DGS) has emerged as a powerful approach for novel view synthesis. However, the number of Gaussian primitives often grows substantially during training as finer scene details are reconstructed, leading to increased memory and storage costs. Recent coarse-to-fine strategies regulate Gaussian growth by modulating the frequency content of the ground-truth images. In particular, AutoOpti3DGS employs the learnable Discrete Wavelet Transform (DWT) to enable data-adaptive frequency modulation. Nevertheless, its modulation depth is limited by the 1-level DWT, and jointly optimizing wavelet regularization with 3D reconstruction introduces gradient competition that promotes excessive Gaussian densification. In this paper, we propose a multi-level DWT-based frequency modulation framework for 3DGS. By recursively decomposing the low-frequency subband, we construct a deeper curriculum that provides progressively coarser supervision during early training, consistently reducing Gaussian counts. Furthermore, we show that the modulation can be performed using only a single scaling parameter, rather than learning the full 2-tap high-pass filter. Experimental results on standard benchmarks demonstrate that our method further reduces Gaussian counts while maintaining competitive rendering quality.

研究の動機と目的

• 3D Gaussian Splatting (3DGS) における Gaussian 数の削減をレンダリング品質を犠牲にせずに実現する動機付け。
• データ適応的な粗→細の周波数変調を可能にする多段離散ウェーブレット変換 (DWT) フレームワークを 3DGS に導入する。
• 学習可能パラメータをハイパスフィルターの1つのスケーリング因子に制限して勾配競合を緩和する。
• より深い DWT レベルがより強い初期監視をもたらし、さらに Gaussian 数削減を促進することを示す。
• 標準的な 3DGS ベンチマークにおける経験的評価を提供し、ベースラインと比較して Gaussian 数を削減する。

提案手法

• LL subband を再帰的に分解して深い周波数変調カリキュラムを可能にするために AutoOpti3DGS を多段 DWT で拡張する。
• DWT フィルタを Haar に固定し、高周波成分を制御するために高周波解析フィルター上の単一のスケーリングパラメータ alpha を学習する。
• Perfect Reconstruction に触発した残差損失（別名 alias-cancellation と no-distortion）を課して alpha を正則化し再構成忠実度を維持する。
• マルチレベル DWT ベースの変調を 3DGS の学習目標に統合: L = L_3DGS + lambda_PR * L_PR, ここで L_PR は alias および歪み項を組み合わせる。
• LLFF (3 views) および Mip-NeRF 360 (12 views) で評価し、Vanilla 3DGS、Opti3DGS、AutoOpti3DGS と比較する。

実験結果

リサーチクエスチョン

• RQ1 多段 DWT は 3DGS において 1 段の DWT よりも深く効果的な周波数変調カリキュラムを提供するのか。
• RQ2 高周波変調は高周波フィルターの単一スケーリングパラメータを学習するだけで効果的に実現でき、勾配衝突を減らせるのか。
• RQ3 多段 DWT は標準的な 3DGS ベンチマークにおける Gaussian 数とレンダリング品質にどのような影響を与えるのか。
• RQ4 より深い DWT レベルと PSNR/SSIM/LPIPS の実務上の性能のトレードオフはどうなるのか。

主な発見

PSNR ( ↑ )	SSIM ( ↑ )	LPIPS ( ↓ )	#G ( ↓ )	Time ( ↓ ) (s)
Opti3DGS	19.59	0.660	0.228	247K	105
AutoOpti3DGS	20.29	0.703	0.200	249K	131
Ours	20.34	0.687	0.222	218K	142
3DGS	20.40	0.706	0.197	272K	109
Opti3DGS	19.19	0.552	0.360	636K	151
AutoOpti3DGS	19.24	0.541	0.381	615K	182
Ours	19.29	0.560	0.355	589K	200
3DGS	19.30	0.564	0.352	701K	155

• 多段 DWT は 1段ベースラインより Gaussian 数を多く削減（LLFF および Mip-NeRF 360 全体で約 50K–100K 程度の Gaussian が削減）。
• 高周波フィルターの単一スケーリングパラメータを使用することで、学習した高周波フィルター全体を学習させる場合より Gaussian 数をさらに削減。
• より深い DWT レベルは段階的に Gaussian 数を減少させるが、初期再構築が粗くなることで PSNR が低下する可能性があり、変調深度とレンダリング忠実度のトレードオフを示す。
• この手法は Opti3DGS および AutoOpti3DGS と比較して Gaussian 数削減と PSNR/SSIM/LPIPS の競合力を維持しつつ、追加の学習時間（約10–20 s）を要する。
• 最良の性能構成は DWT 深度と再構成品質のバランスを取り、提案アプローチがレンダリング品質を維持しつつ Gaussian の増殖を抑制することを示す。