[論文レビュー] Compressed 3D Gaussian Splatting for Accelerated Novel View Synthesis

Simon Niedermayr, Josef Stumpfegger+1 more|arXiv (Cornell University)|Nov 17, 2023

Advanced Vision and Imaging被引用数 6

ひとこと要約

本稿では、方向性カラーおよびガウスパラメータの感度に配慮したベクトルクラスタリングと、量子化に配慮したファインチューニングを用いることで、視覚的品質の損失を最小限に抑えつつ最大31倍の圧縮を達成する、圧縮された3次元ガウススプラッティング表現を提案する。圧縮されたシーンはGPUラスタライゼーションにより効率的にレンダリングされ、軽量なハードウェア上でも、従来のコンピューティングベースのパイプラインと比較して最大4倍のフレームレート向上を実現する。

ABSTRACT

Recently, high-fidelity scene reconstruction with an optimized 3D Gaussian splat representation has been introduced for novel view synthesis from sparse image sets. Making such representations suitable for applications like network streaming and rendering on low-power devices requires significantly reduced memory consumption as well as improved rendering efficiency. We propose a compressed 3D Gaussian splat representation that utilizes sensitivity-aware vector clustering with quantization-aware training to compress directional colors and Gaussian parameters. The learned codebooks have low bitrates and achieve a compression rate of up to $31 imes$ on real-world scenes with only minimal degradation of visual quality. We demonstrate that the compressed splat representation can be efficiently rendered with hardware rasterization on lightweight GPUs at up to $4 imes$ higher framerates than reported via an optimized GPU compute pipeline. Extensive experiments across multiple datasets demonstrate the robustness and rendering speed of the proposed approach.

研究の動機と目的

• 低消費電力デバイスやネットワーク経由での展開を念頭に、3次元ガウススプラッティングのメモリ使用量を削減し、レンダリング効率を向上させること。
• 最適化された3次元ガウススプラッティングシーンの高メモリ使用量（数ギガバイトを超えることもあり）が、モバイルやVR/ARハードウェアにおけるリアルタイムレンダリングを妨げることを解決すること。
• ゲームやAR/VRシステムなどの、ハードウェアラスタライゼーションを活用するアプリケーションへの3次元ガウス表現の効率的統合を可能にすること。
• 視覚的忠実度を保持したまま、特に球面調和関数（SH）係数とガウス形状パラメータのエンドツーエンドの圧縮を検討すること。
• 圧縮された3次元ガウス表現が、標準的なGPUラスタライゼーションパイプラインを用いて、コンピューティングカーネルに依存しない方法で高フレームレートでレンダリング可能であることを示すこと。

提案手法

• 感度に配慮したベクトルクラスタリングを3次元ガウスパラメータおよびSH係数に適用し、視覚的劣化を最小限に抑えるために感度の低い成分を優先してクラスタリングする。
• 量子化に配慮したトレーニングを用いて、クラスタリングによる情報損失を回復させ、再構築精度を向上させる。
• 空間一貫性を活用するため、ガウスを空間を満たすモートンカーブに沿って再順序付けし、その後にエントロピー符号化およびランレングス符号化を適用して追加の圧縮を実現する。
• 独自のGPUラスタライゼーションベースのレンダラを提案し、ハードウェアアクセcelerationを活用して、低性能GPU上でも高フレームレートを達成する。
• 圧縮パイプラインを、色（SH係数）と形状（ガウスパラメータ）に別々に適用し、コードブックサイズと感度しきい値を設定可能にする。
• メモリ帯域幅とストレージ要件を低減することでストリーミングを可能にし、帯域制限のある環境での展開を支援する。

実験結果

リサーチクエスチョン

• RQ1 3次元ガウススプラッティング表現は、視覚的品質の著しい劣化を伴わずに、メモリ使用量を効果的に削減できるか？
• RQ2 SH係数およびガウスパラメータの感度に配慮したクラスタリングは、再構築品質と圧縮効率にどのように影響するか？
• RQ3 量子化に配慮したファインチューニングは、3次元ガウスシーンにおけるベクトル量子化による性能損失をどの程度回復できるか？
• RQ4 圧縮された3次元ガウス表現は、カスタムコンピューティングカーネルではなく、標準的なGPUラスタライゼーションパイプラインを用いて効率的にレンダリング可能か？
• RQ5 多様な実世界シーンにおいて、視認できない品質劣化を維持したまま達成可能な最大圧縮率はどの程度か？

主な発見

• 提案手法は、PSNRおよびLPIPS指標で測定したところ、実世界のシーンにおいて最大31倍の圧縮を達成し、視覚的品質の劣化は最小限に抑えられた。
• 圧縮された表現により、軽量GPU（例：RTX 3070M）上でのフレームレートが、元のコンピューティングベースのレンダリングパイプラインと比較して最大4倍向上した。
• クラスタリング用の感度しきい値（βcおよびβg）により、圧縮率と品質のトレードオフを制御可能であり、デフォルト設定では28.80 GBから28.92 GBのサイズ削減が達成されつつ、高い忠実度を維持した。
• SH係数とガウスパラメータの両方でコードブックサイズ8192を採用した場合が、品質とメモリ使用量のバランスが最良であり、ベースラインと比較して最大0.58 PSNRポイントの誤差低減が達成された。
• モートン順序によるソーティング後にエントロピーおよびランレングス符号化を適用することで、さらに50%のメモリ使用量削減が達成され、全体の圧縮に大きく寄与した。
• Mip-NeRF360を含む複数のベンチマークデータセットにおいて、一貫した圧縮率および速度向上の恩恵を示し、強固な性能を維持した。