[論文レビュー] Mip-Splatting: Alias-free 3D Gaussian Splatting

Zehao Yu, Anpei Chen+3 more|arXiv (Cornell University)|Nov 27, 2023

Advanced Vision and Imaging被引用数 5

ひとこと要約

Mip-Splatting は、カメラのサンプリングレートを変更する際の 3D ガウススプラッタリング (3DGS) におけるアーリアシングおよび拡大アーチファクトを解消するため、3D スムージングフィルタと 2D Mip フィルタを導入する。3D ガウス関数の周波数をナイキスト限界に基づいて制約し、2D の拡大処理をボックスフィルタを模倣する Mip フィルタに置き換えることで、ズームイン・ズームアウトの両方のシナリオでアーリアシングなしのレンダリングを実現。最小限のコード変更で最先端のパフォーマンスを達成する。

ABSTRACT

Recently, 3D Gaussian Splatting has demonstrated impressive novel view synthesis results, reaching high fidelity and efficiency. However, strong artifacts can be observed when changing the sampling rate, \eg, by changing focal length or camera distance. We find that the source for this phenomenon can be attributed to the lack of 3D frequency constraints and the usage of a 2D dilation filter. To address this problem, we introduce a 3D smoothing filter which constrains the size of the 3D Gaussian primitives based on the maximal sampling frequency induced by the input views, eliminating high-frequency artifacts when zooming in. Moreover, replacing 2D dilation with a 2D Mip filter, which simulates a 2D box filter, effectively mitigates aliasing and dilation issues. Our evaluation, including scenarios such a training on single-scale images and testing on multiple scales, validates the effectiveness of our approach.

研究の動機と目的

• カメラの焦点距離や距離を変更する際の 3D ガウススプラッタリングにおける顕著なレンダリングアーチファクト、特にアーリアシングと拡大効果を解消すること。
• ズームイン時に高周波数アーチファクトを引き起こす、3DGS の内在的な収縮バイアスと周波数オーバーフローを解消すること。
• 単一スケールでの学習により、複数スケールでのレンダリングを正確に実現する、分布外一般化を可能にすること。
• 2D 拡大フィルタを、物理的イメージングプロセスのボックスフィルタを模倣する Mip フィルタに置き換えることで、アーリアシングを低減すること。

提案手法

• 入力ビューのサンプリングレートに基づいて、ナイキスト＝シャノンのサンプリング定理を根拠に、3D ガウスプリミティブの最大周波数を正則化する 3D スムージングフィルタを導入する。
• 最適化中に 3D 空間でローパassフィルタを適用し、高周波成分を制約することで、3D レプリセントレーションがサンプリング限界内に保たれるようにする。
• 2D 拡大フィルタを、ガウスローパスフィルタを用いて 2D ボックスフィルタを近似する 2D Mip フィルタに置き換えることで、アーリアシングおよび拡大アーチファクトを効果的に低減する。
• 閉形式でのパイプライン修正を採用し、最小限のコード変更で実現可能であり、標準的な GPU ラスタライゼーションと互換性を保つ。
• トレーニング後、3D スムージングフィルタが視点やサンプリングレートに依存しないシーンレプリセントレーションの内在的要因となるようにする。
• Mip フィルタのマルチスケール特性を活用し、トレーニング時とは異なる解像度でも忠実なレンダリングを可能にし、ズームインおよびズームアウトの両方のシナリオをカバーする。

実験結果

リサーチクエスチョン

• RQ1 ズームイン時に 3D 周波数制約を適用することで、3D ガウススプラッタリングにおける高周波数アーチファクトを排除できるか？
• RQ2 2D 拡大を Mip フィルタに置き換えることで、ズームアウト時のアーリアシングおよび拡大アーチファクトが低減するか？
• RQ3 単一スケールでの学習設定が、複数のサンプリングレートで性能劣化なしに高品質なレンダリングを生成できるか？
• RQ4 Mip-NeRF や Tri-MipRF といった最先端手法と比較して、本手法は分布外一般化において優れた性能を示すか？
• RQ5 3D スムージングフィルタは、メモリオーバーフローを引き起こす過小なガウス関数の生成をどの程度防止できるか？

主な発見

• Mip-Splatting はズームインシナリオにおける高周波数アーチファクトを排除し、Blender データセットにおいて 8 倍高解像度のレンダリングでほぼ完璧な再構成が達成された。
• Mip-NeRF 360 データセットでは、同じスケールでの学習では 3DGS や 3DGS + EWA と同等の性能を達成した一方、マルチスケールテストでは顕著に優れた性能を示した。
• 単一スケールでの学習とマルチスケールでのテストにおいて、Mip-Splatting は 1/4× および 1/8× のダウンサンプリング解像度でも高い忠実度を維持し、3DGS や 3DGS + EWA を上回った。
• Mip-NeRF や Tri-MipRF がトレーニング時にマルチスケール入力を必要とするのに対し、本手法はマルチスケールのトレーニングデータを必要とせず、スケールをまたぐレンダリングでアーリアシングフリーを実現した。
• 3D スムージングと Mip フィルタリングの組み合わせにより、過小なガウス関数によるメモリオーバーフローが防止され、高密度シーンでも A100 GPU で安定した学習が可能になった。
• 定性的な結果では、Mip-Splatting のレンダリングが特にズームインシナリオで真値に近く、3DGS + EWA は顕著な高周波数アーチファクトを示した。