[論文レビュー] CompGS: Smaller and Faster Gaussian Splatting with Vector Quantization

K L Navaneet, Kossar Pourahmadi Meibodi+2 more|arXiv (Cornell University)|Nov 30, 2023

Computer Graphics and Visualization Techniques被引用数 8

ひとこと要約

CompGSはGaussianパラメータにベクトル量子化を適用して3D Gaussian Splattingを圧縮し、品質低下を最小限に抑えつつ ~20x のメモリ削減とリアルタイムレンダリング速度を維持します。

ABSTRACT

3D Gaussian Splatting (3DGS) is a new method for modeling and rendering 3D radiance fields that achieves much faster learning and rendering time compared to SOTA NeRF methods. However, it comes with a drawback in the much larger storage demand compared to NeRF methods since it needs to store the parameters for several 3D Gaussians. We notice that many Gaussians may share similar parameters, so we introduce a simple vector quantization method based on K-means to quantize the Gaussian parameters while optimizing them. Then, we store the small codebook along with the index of the code for each Gaussian. We compress the indices further by sorting them and using a method similar to run-length encoding. Moreover, we use a simple regularizer to encourage zero opacity (invisible Gaussians) to reduce the storage and rendering time by a large factor through reducing the number of Gaussians. We do extensive experiments on standard benchmarks as well as an existing 3D dataset that is an order of magnitude larger than the standard benchmarks used in this field. We show that our simple yet effective method can reduce the storage cost for 3DGS by 40 to 50x and rendering time by 2 to 3x with a very small drop in the quality of rendered images.

研究の動機と目的

• Gaussian Splattingのストレージフットプリントをレンダリング速度を犠牲にせず削減することを動機づける。
• Gaussianパラメータをコードブックを介して共有する単純なベクトル量子化（VQ）アプローチを導入する。
• VQとランレングス風エンコーディングで、画像劣化を最小限に抑えつつメモリを大幅に削減できることを示す。
• 評価をより大規模でAR/VR対応のデータセットへ拡張し、スケーラビリティを示す。

提案手法

• 各Gaussianパラメータセットをベクターとして表現し、K-meansを適用してコードブックのセントロイド（コード）を形成する。
• DCカラー、球面調和関数、スケール、回転パラメータを別々の複数コードブックに量子化し、位置や不透明度は量子化しない。
• ストレートスルー推定器を用いて量子化パラメータで訓練し、バックプロパゲーション時に非量子化パラメータを更新する。
• 推論時にはコードブックと各Gaussianのコードインデックスのみを保存し、Gaussianをコードに置換することでストレージを削減する。
• インデックスのランレングス圧縮を可能にするため、コードでGaussianをソートして、インデックスデータをさらに圧縮する。

実験結果

リサーチクエスチョン

• RQ1 Gaussian Splattingパラメータのベクトル量子化は、レンダリング品質の大きな低下を伴わずにモデルサイズを大幅に削減できるか？
• RQ2 パラメータごとの量子化（DC、SH、スケール、回転）が再構成品質とメモリフットプリントにどう影響するか？
• RQ3 複数のシーンで共通のコードブックを共有することは、より大規模なデータセットでのスケーラブルな圧縮を一般化できるか？
• RQ4 コードブックのサイズ、訓練時間、推論速度のトレードオフはどのようになるか？

主な発見

• CompGSは元の3DGSと比較して約20xのメモリ削減を実現し、レンダリング品質は小さな低下にとどまる。
• カラーSH成分と共分散の量子化（適切なサイズのコードブックを用いる）は多くのディテールを保持し、最先端のNeRF手法に対して競争力のある指標を維持する。
• 位置または不透明度の量子化は不利であり、シーンの構造と外観を保持するためにこれらのパラメータの量子化を回避する。
• 複数のシーン間で共通のコードブックは小さな性能ペナルティで一般化し、データセット間でのメモリ節約を可能にする。
• CompGSは訓練時のK-meansによるオーバーヘッドにもかかわらず、3DGSと同様のリアルタイムレンダリング速度と低い推論メモリを維持する。