[論文レビュー] EAGLES: Efficient Accelerated 3D Gaussians with Lightweight EncodingS

Sharath Girish, Kamal Gupta+1 more|arXiv (Cornell University)|Dec 7, 2023

Advanced Vision and Imaging被引用数 5

ひとこと要約

EAGLESは、3次元ガウススプラッティングのための軽量で量子化された符号化方式を提案し、メモリ使用量を10–20倍まで削減するとともに、トレーニングとレンダリングを高速化し、最先端の再構成品質を達成した。これは属性の量子化（色、回転、不透明度）、段階的で粗いものから細かいものへのトレーニング、および制御された密度化を組み合わせることで、コンsumerハードウェアでもリアルタイムの新規ビュー合成を可能にする。

ABSTRACT

Recently, 3D Gaussian splatting (3D-GS) has gained popularity in novel-view scene synthesis. It addresses the challenges of lengthy training times and slow rendering speeds associated with Neural Radiance Fields (NeRFs). Through rapid, differentiable rasterization of 3D Gaussians, 3D-GS achieves real-time rendering and accelerated training. They, however, demand substantial memory resources for both training and storage, as they require millions of Gaussians in their point cloud representation for each scene. We present a technique utilizing quantized embeddings to significantly reduce per-point memory storage requirements and a coarse-to-fine training strategy for a faster and more stable optimization of the Gaussian point clouds. Our approach develops a pruning stage which results in scene representations with fewer Gaussians, leading to faster training times and rendering speeds for real-time rendering of high resolution scenes. We reduce storage memory by more than an order of magnitude all while preserving the reconstruction quality. We validate the effectiveness of our approach on a variety of datasets and scenes preserving the visual quality while consuming 10-20x lesser memory and faster training/inference speed. Project page and code is available https://efficientgaussian.github.io

研究の動機と目的

• 3次元ガウススプラッティングの高いメモリと計算コストを低減し、コンsumerハードウェアへの展開を可能にする。
• 再構成品質を損なわず、3次元ガウスシーン表現のストレージおよび実行時GPUメモリ使用量を削減する。
• 段階的で粗いものから細かいものへのトレーニングおよび制御された密度化を通じて、トレーニングの安定性と収束速度を向上させる。
• ガウス点の数を最小限に抑え、属性表現を最適化することで、低メモリシステムでもリアルタイムレンダリングと効率的な推論を可能にする。
• 色（球面調和関数）、回転（共分散）、不透明度属性の潜在的量子化を通じて、メモリ効率を向上させる。

提案手法

• 色のための球面調和（SH）係数および回転のための共分散行列にベクトル量子化を適用し、1ガウスあたりのメモリフットプリントを削減する。
• 不透明度係数を離散的な潜在的コードに量子化することで、最適化を改善し、フロaterのような視覚的アーチファクトを低減する。
• ダウンサンプリング、平均フィルタリング、またはガウスフィルタリングを用いた段階的な画像スケーリングにより、最適化を安定化させる粗いものから細かいものへのトレーニング戦略を実装する。
• 密度化（クローン化と分割）の頻度を制御することで、再構成忠実度を維持しながら総ガウス数を削減する。
• 量子化された属性を表す潜在的コードブックを用い、順伝搬/逆伝搬の際に浮動小数点値に復号することで、微分可能な最適化を実現する。
• 段階的スケーリングを、トレーニングイテレーションの70％間に段階的に解像度を30％から100％まで増加させるスケジュールと統合する。

Figure 2 : Approach: 1) We quantize the attributes of the latents to reduce the storage memory of the Gaussians ( Sec. 4.1 ), 2) progressively train using a coarse-to-fine rendering resolution schedule to obtain higher quality reconstructions ( Sec. 4.2 ) and 3) control the densification process to

実験結果

リサーチクエスチョン

• RQ1 3次元ガウスの属性量子化は、視覚的品質を損なわず、メモリ使用量を顕著に削減できるか？
• RQ2 段階的で粗いものから細かいものへのトレーニングは、3次元ガウススプラッティングにおける最適化の安定性と収束速度にどのように影響するか？
• RQ3 密度化の頻度を低減することは、ガウス数とレンダリング性能にどのような影響を与えるか？
• RQ4 段階的トレーニングにおいて、メモリ節約と再構成品質のバランスを最も良くする画像フィルタリング戦略（ダウンサンプリング、ガウス、平均）はどれか？
• RQ5 量子化、段階的トレーニング、および制御された密度化の組み合わせにより、コンsumerグレードのGPUでもリアルタイムレンダリングが可能になるか？

主な発見

• EAGLESは、すべてのシーンでメモリ使用量を10–20倍まで削減し、ストレージメモリは3D-GSの43MBから、ガウス15×15フィルタで最低21MBまで低下した。
• 3D-GSと比較して、トレーニング時間は最大25％短縮され、ダウンサンプリングベースの段階的スケーリングを用いた場合、最速で9分49秒で完了した。
• レンダリングのFPSは3D-GSの211からGaussian 15×15フィルタで321に上昇し、推論速度の向上が確認された。
• すべてのシーンで3D-GSと比較してPSNRが0.2dB以内に保たれ、ダウンサンプリングまたは5×5ガウスフィルタリングを用いた場合、最高PSNR23.41dBを達成した。
• Bicycleシーンでは、トレーニング中のピークGPUメモリ使用量が3D-GSの17.4GBから10GBまで低下し、12GBのコンsumer GPUでもデプロイが可能になった。
• アブレーションスタディにより、量子化、段階的トレーニング、密度化制御の各要素が、メモリおよび速度の向上に顕著に寄与することが確認された。

Figure 3 : Histogram of opacity coefficients with and without quantization. Most coefficients result in values of 0 or 1 without quantization while quantization spreads the opacity values and allows for better blending.