[論文レビュー] gsplat: An Open-Source Library for Gaussian Splatting

Vickie Ye, Ruilong Li+9 more|arXiv (Cornell University)|Sep 10, 2024

Advanced Data Storage Technologies被引用数 6

ひとこと要約

gsplat は、Kerbl et al. (2023) より速度とメモリ使用を改善する、Gaussian Splatting のためのオープンソース PyTorch-CUDA ライブラリで、モジュラー API と密化戦略を備えています。

ABSTRACT

gsplat is an open-source library designed for training and developing Gaussian Splatting methods. It features a front-end with Python bindings compatible with the PyTorch library and a back-end with highly optimized CUDA kernels. gsplat offers numerous features that enhance the optimization of Gaussian Splatting models, which include optimization improvements for speed, memory, and convergence times. Experimental results demonstrate that gsplat achieves up to 10% less training time and 4x less memory than the original implementation. Utilized in several research projects, gsplat is actively maintained on GitHub. Source code is available at https://github.com/nerfstudio-project/gsplat under Apache License 2.0. We welcome contributions from the open-source community.

研究の動機と目的

• Gaussian Splatting モデルの効率的な訓練と開発を促進する。
• 研究の拡張とアルゴリズムのカスタマイズを容易にするモジュール化された、使いやすい API を提供する。
• 密化戦略、ポーズ最適化、微分可能レンダリングなどの最先端機能を取り入れる。
• レンダリング品質を維持しつつ、速度とメモリの性能向上を提供する。

提案手法

• Gaussian Splatting のための CUDA 最適化バックエンドを備えた PyTorch 上の Python バインディング。
• 密化戦略（ADC、Absgrad、MCMC）間の切り替えを容易にするモジュール化 API。
• ガウスパラメータとカメラ姿勢への勾配伝播を伴う微分可能レンダリング。
• 追加機能とアンチエイリアシング（Mip-Splatting）のための深度レンダリングおよび N-D レンダリングのサポート。
• ADC 密化を用いた MipNeRF360 で Kerbl et al. (2023) と比較したトレーニング性能の実証評価。
• 教育用途と拡張性を強調するドキュメントとマルチGPUサポート。

実験結果

リサーチクエスチョン

• RQ1 Gaussian Splatting は PyTorch バインディングと CUDA カーネルを備えたモジュール化されたオープンソースツールで恩恵を受けられるか？
• RQ2 現代の密化戦略（ADC、Absgrad、MCMC）は品質を犠牲にすることなく、訓練効率とメモリ使用量を改善するか？
• RQ3 微分可能レンダリングによるポーズ最適化は Gaussian Splatting で実現可能か、また再構成精度にどう影響するか？
• RQ4 深度レンダリングとアンチエイリアシングの強化は、実践における Gaussian Splatting の忠実度と使いやすさにどう影響するか？

主な発見

PSNR ↑	SSIM ↑	LPIPS ↓	メモリ ↓	時間（分） ↓
3DGS -7k	27.23	0.83	0.20	7.7 GB	4.64
gsplat -7k	27.23	0.83	0.20	4.3 GB	3.36
3DGS -30k	28.95	0.87	0.14	9.0 GB	26.19
gsplat -30k	29.00	0.87	0.14	5.6 GB	19.39

• gsplat は元の 3DGS 実装より最大で 10% のトレーニング時間を短縮する。
• gsplat は Kerbl et al. (2023) より最大で 4 倍の少ないメモリを使用し、同等のレンダリング性能を維持する。
• ADC、Absgrad、および MCMC バリアントを用いると、GSplat はさらにメモリと訓練時間を削減できる（例: Table 2 の MCMC バリアントは約 1.0M Gaussians と約 1.98 GB のメモリを使用）。
• カメラのビュー行列に対する勾配を可能にする微分可能なポーズ最適化をサポート。
• アンチエイリアシング対応のレンダリングと深度レンダリングが統合され、より豊かなシーン表現を可能にする。