[論文レビュー] PocketGS: On-Device Training of 3D Gaussian Splatting for High Perceptual Modeling

Wenzhi Guo, Guangchi Fang+2 more|arXiv (Cornell University)|Jan 24, 2026

Computer Graphics and Visualization Techniques被引用数 0

ひとこと要約

PocketGSは、幾何学的事前情報の共同設計、事前条件付き初期化、ハードウェア適合の微分可能スプラッティングを組み合わせて、モバイルデバイス上で3Dガウシアンスプラッティングのオンデバイトレーニングを実現し、厳しい予算下でもワークステーションに匹敵する高品質の3Dシーン再構成を達成します。

ABSTRACT

Efficient and high-fidelity 3D scene modeling is a long-standing pursuit in computer graphics. While recent 3D Gaussian Splatting (3DGS) methods achieve impressive real-time modeling performance, they rely on resource-unconstrained training assumptions that fail on mobile devices, which are limited by minute-scale training budgets and hardware-available peak-memory. We present PocketGS, a mobile scene modeling paradigm that enables on-device 3DGS training under these tightly coupled constraints while preserving high perceptual fidelity. Our method resolves the fundamental contradictions of standard 3DGS through three co-designed operators: G builds geometry-faithful point-cloud priors; I injects local surface statistics to seed anisotropic Gaussians, thereby reducing early conditioning gaps; and T unrolls alpha compositing with cached intermediates and index-mapped gradient scattering for stable mobile backpropagation. Collectively, these operators satisfy the competing requirements of training efficiency, memory compactness, and modeling fidelity. Extensive experiments demonstrate that PocketGS is able to outperform the powerful mainstream workstation 3DGS baseline to deliver high-quality reconstructions, enabling a fully on-device, practical capture-to-rendering workflow.

研究の動機と目的

• 厳しいモバイル計算資源とメモリ制約の下での高忠実度3Dシーンモデリングの課題を動機付け、解決する。
• 数分程度でメモリ予算 sub-3 GB 内で動作するモバイル向け3D Gaussian Splattingトレーニングパイプラインを開発する。
• 効率的なオンデバイストレーニングを可能にする三つの共同設計演算子—幾何学的事前情報の構築、事前条件付き初期化、ハードウェア適合のスプラッティング最適化—を提案する。
• PocketGSが公的およびモバイルデータセットでワークステーションのベースラインと perceptual quality で競合することを実証する。
• オンデバイス3DGSのメモリ使用、実行時間、表現効率に関する洞察を提供する。

提案手法

• G: heavy in-loopの密化を伴わず、モバイルキャプチャからコンパクトで幾何学的に忠実な事前情報を生成する幾何事前構築。
• I: ローカル表面統計を用いて異方性ガウスを初期化・収束を改善する事前条件付きパラメータ化。
• T: アンロール済みアルファ合成、フォワードリプレイキャッシュ、インデックスマップ付き勾配散布を用いたハードウェア適合の微分可能スプラッティングにより、モバイルデバイス上で安定したGPU-居住最適化を実現。

実験結果

リサーチクエスチョン

• RQ1 オンデバイスでの3D Gaussian Splattingトレーニングは、厳しい時間とメモリ予算の下で知覚品質を達成できるか？
• RQ2 幾何学的事前情報と異方性初期化は、最適化負担を軽減し、制限された反復数の下で収束を改善できるか？
• RQ3 モバイルGPUで安定した微分可能レンダリングのために必要なハードウェア適応は何か？
• RQ4 PocketGSは品質・速度・メモリフットプリントの点で実データおよび合成データセットでワークステーションベースラインとどのように比較されるか？

主な発見

Method	PSNR (LLFF)	SSIM (LLFF)	LPIPS (LLFF)	Time (LLFF s)	Count (LLFF)	PSNR (NeRF-Synthetic)	SSIM (NeRF-Synthetic)	LPIPS (NeRF-Synthetic)	Time (NeRF-Synthetic s)	Count (NeRF-Synthetic)	PSNR (MobileScan)	SSIM (MobileScan)	LPIPS (MobileScan)	Time (MobileScan s)	Count (MobileScan)
3DGS-SFM-WK	21.01	0.641	0.405	108.0	18k	21.75	0.800	0.243	83.7	12k	21.16	0.687	0.398	112.8	23k
3DGS-MVS-WK	19.53	0.637	0.387	313.1	40k	24.47	0.887	0.128	532.1	50k	20.85	0.781	0.281	534.5	165k
PocketGS (Ours)	23.54	0.791	0.222	105.4	33k	24.32	0.858	0.144	101.4	47k	23.67	0.791	0.225	255.2	168k

• PocketGSは、約4分のオンデバイントレーニング予算下でワークステーションベースラインと同等またはそれを上回る知覚品質を達成。
• モバイルデバイス上で、評価対象シーンを通じてピークメモリを3 GB未満に維持。
• PocketGSはLLFF、NeRF-Synthetic、MobileScanの各データセットで優れたLPIPSと競争力のPSNR/SSIMを示し、密なオフラインベースラインに比べモバイルでエンドツーエンド時間が notably速い。
• 情報ゲート付きフレームサブサンプリング、GPUネイティブの全局BA、単一参照のMVS、事前条件付き初期化が品質と効率に寄与することをアブレーション研究で確認。
• PocketGSはiPhone 15上でリアルタイムレンダリングを実現し、多様なシーンスケールとキャプチャ条件で堅牢に機能する。