[論文レビュー] Multi-Scale 3D Gaussian Splatting for Anti-Aliased Rendering

Zhiwen Yan, Weng Fei Low+2 more|arXiv (Cornell University)|Nov 28, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

本論文では、低解像度または遠距離視点でのレンダリングにおけるアーリアシングとレンダリング遅延を解消するため、マルチスケール3次元ガウススプラッティングを提案する。複数のスケールでガウス分布を維持し、適切な詳細度レベルを効果的にレンダリングすることで、Mip-NeRF360で4×〜128×解像度において13%〜66%のPSNR向上と160%〜2400%の速度向上を達成。追加のガウス分布は5%未満、トレーニング時間はほぼ同等である。

ABSTRACT

3D Gaussians have recently emerged as a highly efficient representation for 3D reconstruction and rendering. Despite its high rendering quality and speed at high resolutions, they both deteriorate drastically when rendered at lower resolutions or from far away camera position. During low resolution or far away rendering, the pixel size of the image can fall below the Nyquist frequency compared to the screen size of each splatted 3D Gaussian and leads to aliasing effect. The rendering is also drastically slowed down by the sequential alpha blending of more splatted Gaussians per pixel. To address these issues, we propose a multi-scale 3D Gaussian splatting algorithm, which maintains Gaussians at different scales to represent the same scene. Higher-resolution images are rendered with more small Gaussians, and lower-resolution images are rendered with fewer larger Gaussians. With similar training time, our algorithm can achieve 13\%-66\% PSNR and 160\%-2400\% rendering speed improvement at 4$ imes$-128$ imes$ scale rendering on Mip-NeRF360 dataset compared to the single scale 3D Gaussian splitting. Our code and more results are available on our project website https://jokeryan.github.io/projects/ms-gs/

研究の動機と目的

• 低解像度または遠距離カメラ位置でのレンダリング時に顕著なアーリアシングとパフォーマンス劣化を解消すること。
• 単一スケールのガウス分布では、サンプリング不足によるアーリアシングと、低解像度での過剰なアルファブレンドによるレンダリング遅延が生じるという制限を克服すること。
• トレーニング時間やメモリ使用量を著しく増加させることなく、複数の解像度スケールで効率的かつ高品質なレンダリングを可能にすること。
• 1×解像度で高精細なレンダリングを維持しつつ、低スケールでのパフォーマンスと品質を著しく向上させること。
• コンピューターグラフィックスにおけるミップマップやLOD技術にインspiredされたスケーラブルで選択的レンダリング戦略を導入すること。

提案手法

• トレーニング中に細かいガウス分布を集約して粗いガウス分布を事前に計算・保存することで、複数スケールでのガウス分布の維持を実現する。
• ボクセル内の小さなガウス分布を特定するサイズしきい値機構を用い、それらをより大きな粗いガウス分布に統合して低解像度レンダリング用に準備する。
• レンダリング時、ピクセルカバレッジに応じて動的にガウス分布を選択：高解像度出力では細かいガウス分布、低解像度出力では粗いガウス分布を使用する。
• スクリーンスペースサイズが現在の解像度のピクセルカバレッジと一致するガウス分布のみをアクティブ化することで、選択的レンダリングを実現する。
• 従来の3次元ガウススプラッティングパイプラインを最小限の変更で統合し、追加のガウス分布は数百〜数천個程度に留める。
• 単一スケール3次元ガウススプラッティングと同一の最適化ループとデータパイプラインを再利用することで、トレーニング時間の変化を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 マルチスケール3次元ガウス分布は、単一スケール3次元ガウススプラッティングと比較して、低解像度および遠距離視点レンダリングにおけるアーリアシングアーティファクトを低減できるか？
• RQ2 スケールに適応したガウス分布を用いた選択的レンダリングは、画像品質を損なわずに低解像度でのレンダリング速度を向上できるか？
• RQ3 最小限の追加パrameterとトレーニングコストで、どの程度のパフォーマンス向上が達成できるか？
• RQ4 PSNR、LPIPS、レンダリング時間の観点から、4×〜128×のさまざまな解像度レベルおよび異なるデータセット（例：Mip-NeRF360）において、この手法はどの程度スケーラブルか？
• RQ5 1×解像度での高精細レンダリングを維持しつつ、低スケールでのパフォーマンスを著しく向上できるか？

主な発見

• Mip-NeRF360データセットにおいて、本手法は単一スケール3次元ガウススプラッティングと比較して、4×〜128×解像度で13%〜66%のPSNR向上を達成した。
• 128×解像度ではレンダリング速度が160%〜2400%向上し、幾何的複雑性の高いシーンで最も顕著な向上が観察された。
• 1×解像度ではPSNRとLPIPSが同等の水準を維持しており、高解像度品質に劣化がないことが確認された。
• 追加のガウス分布は元のセットの5%未満であり、トレーニング時間に顕著な増加は見られなかった。
• 小さなガウス分布の過剰なスプラッティングを低減することで、低解像度ピクセルにおけるアーリアシングが効果的に抑制された。
• Tanks and TemplesおよびDeep Blendingデータセットでも、全テストスケールでPSNRが向上し、レンダリング時間が短縮された。