[論文レビュー] SA-GS: Scale-Adaptive Gaussian Splatting for Training-Free Anti-Aliasing

Xiaowei Song, Jv Zheng+6 more|arXiv (Cornell University)|Mar 28, 2024

Face and Expression Recognition被引用数 5

ひとこと要約

本稿では、レンダリング周波数の変化に関わらず一貫したガウス関数の投影スケールを維持するために、推論時における2次元スケール適応フィルタを適用する訓練不要な手法、SA-GSを提案する。スーパサンプリングとその極限ケース（積分）を統合することで、特にズームアウト条件下で最先端のアンチエイリアシング性能を達成し、再訓練を必要とせずにMip-Splattingを上回る。

ABSTRACT

In this paper, we present a Scale-adaptive method for Anti-aliasing Gaussian Splatting (SA-GS). While the state-of-the-art method Mip-Splatting needs modifying the training procedure of Gaussian splatting, our method functions at test-time and is training-free. Specifically, SA-GS can be applied to any pretrained Gaussian splatting field as a plugin to significantly improve the field's anti-alising performance. The core technique is to apply 2D scale-adaptive filters to each Gaussian during test time. As pointed out by Mip-Splatting, observing Gaussians at different frequencies leads to mismatches between the Gaussian scales during training and testing. Mip-Splatting resolves this issue using 3D smoothing and 2D Mip filters, which are unfortunately not aware of testing frequency. In this work, we show that a 2D scale-adaptive filter that is informed of testing frequency can effectively match the Gaussian scale, thus making the Gaussian primitive distribution remain consistent across different testing frequencies. When scale inconsistency is eliminated, sampling rates smaller than the scene frequency result in conventional jaggedness, and we propose to integrate the projected 2D Gaussian within each pixel during testing. This integration is actually a limiting case of super-sampling, which significantly improves anti-aliasing performance over vanilla Gaussian Splatting. Through extensive experiments using various settings and both bounded and unbounded scenes, we show SA-GS performs comparably with or better than Mip-Splatting. Note that super-sampling and integration are only effective when our scale-adaptive filtering is activated. Our codes, data and models are available at https://github.com/zsy1987/SA-GS.

研究の動機と目的

• 異なるズームレベルや周波数でレンダリングする際の3Dガウシアンスプラッタリングにおけるガウス関数スケール不一致の問題に対処すること。
• トレーニングプロセスを変更せずに3DGSにおけるアンチエイリアシング性能を向上させ、既存モデルとの即座統合を可能にすること。
• テスト時のカメラパラメータに応じてフィルタスケールを適応的に調整することで、さまざまなカメラパラメータ下でもガウス関数の2次元投影分布を一貫させること。
• スケールの一貫性が保たれた状態で、スーパサンプリングとその極限ケース（積分）を効果的なアンチエイリアシング手法として活用すること。
• スーパサンプリングによるアンチエイリアシング効果が、提案されたフィルタによるスケール一貫性の維持がなければ有効でないことを実証すること。

提案手法

• 推論時において2次元スケール適応フィルタを適用し、テスト時の周波数に応じて動的にフィルタサイズを調整することで、ガウス関数の投影スケールの一貫性を確保する。
• 固定された2次元拡張（3DGS）や3Dスムージング＋2次元Mipフィルタリング（Mip-Splatting）では、テスト時のパラメータを無視するため生じるスケール不一致を補正する。
• 各ピクセル内での投影ガウス関数のスーパーサンプリングを適用し、低サンプリングレート下でもナイキスト基準を満たす。
• スーパーサンプリングの極限ケースであるピクセル単位の積分を用いることで、ズームアウトレンダリング時のアンチエイリアシング品質をさらに向上させる。
• 本手法は、任意の事前学習済み3DGSモデルと完全に互換性があり、再トレーニングやアーキテクチャ変更を一切不要とする。
• 本手法は、境界あり（例：Blender）および境界なしのシーンの両方で評価され、多様なレンダリング条件下でも堅牢性を示した。

実験結果

リサーチクエスチョン

• RQ1 テスト時かつ訓練不要な手法が、さまざまなレンダリング周波数において3Dガウシアンスプラッタリングにおけるガウス関数スケール不一致を効果的に解消できるか？
• RQ2 推論時におけるスケール適応フィルタリングは、固定またはトレーニング依存のフィルターよりも一貫性のある2次元ガウス関数の投影を実現できるか？
• RQ3 スケールの一貫性が確保された状態で、スーパーサンプリングと積分が顕著なアンチエイリアシング性能向上をもたらすか？
• RQ4 アンチエイリアシング品質と推論効率の観点から、本手法はMip-Splattingと比較して優れているか？
• RQ5 スーパーサンプリングと積分による性能向上は、事前にスケール一貫性が確保されている必要があるか？

主な発見

• スーパーサンプリングを用いたSA-GS（$SA\text{-}GS_{sup}$）は、Blenderデータセットにおけるズームアウト条件下で、単一スケール学習・マルチスケールテストの下でMip-Splattingに対して3.61 dBのPSNR向上を達成した。
• 積分バージョン（$SA\text{-}GS_{int}$）は1/8解像度でPSNR 35.64を達成し、低サンプリングレート下で3DGSおよびMip-Splattingを上回るアンチエイリアシング品質を示した。
• スケール適応フィルタリングバージョン（$SA\text{-}GS_{fil}$）はズームインシナリオにおいてMip-Splattingと同等の結果を達成し、訓練不要であることを維持した。
• スーパーサンプリングと積分は、スケール適応フィルタリングと組み合わせて初めて顕著なアンチエイリアシング向上をもたらすため、スケール一貫性の維持が不可欠であることが確認された。
• スーパーサンプリングおよび積分モードでは、通常の3DGSに比べてレンダリング時間が15–20%増加するが、これに比して顕著なアンチエイリアシングの向上が得られた。
• 本手法は境界あり・境界なしの両方のシーンで堅牢であり、多様なカメラ設定下でも一貫した性能向上を示した。