[論文レビュー] Fed3DGS: Scalable 3D Gaussian Splatting with Federated Learning

Teppei Suzuki|arXiv (Cornell University)|Mar 18, 2024

Biometric Identification and Security被引用数 4

ひとこと要約

Fed3DGS は、数百万のクライアントにわたる分散型の大規模なシーンモデリングを可能にする、スケーラブルな 3D ガウススプラッタリング（3DGS）再構築のためのフェデレーテッドラーニングフレームワークを提案する。非独立同分布（non-IID）データおよび季節的外観変化に対処するため、蒸留に基づくモデル更新方式と外観モデリングを導入し、中央集権的ベースラインと同等の画像品質を達成するとともに、モデルサイズと学習時間を削減した。

ABSTRACT

In this work, we present Fed3DGS, a scalable 3D reconstruction framework based on 3D Gaussian splatting (3DGS) with federated learning. Existing city-scale reconstruction methods typically adopt a centralized approach, which gathers all data in a central server and reconstructs scenes. The approach hampers scalability because it places a heavy load on the server and demands extensive data storage when reconstructing scenes on a scale beyond city-scale. In pursuit of a more scalable 3D reconstruction, we propose a federated learning framework with 3DGS, which is a decentralized framework and can potentially use distributed computational resources across millions of clients. We tailor a distillation-based model update scheme for 3DGS and introduce appearance modeling for handling non-IID data in the scenario of 3D reconstruction with federated learning. We simulate our method on several large-scale benchmarks, and our method demonstrates rendered image quality comparable to centralized approaches. In addition, we also simulate our method with data collected in different seasons, demonstrating that our framework can reflect changes in the scenes and our appearance modeling captures changes due to seasonal variations.

研究の動機と目的

• 都市規模のシーンにおける中央集権的再構築のスケーラビリティとストレージ制限を解決すること。
• 分散型の方法で反復的モデル更新をサポートすることにより、継続的かつ保守可能な 3D 再構築を実現すること。
• 照明や季節的変化などの異なるクライアントのキャプチャ条件に起因する非理想的データ（non-IID）を処理すること。
• 既存のフェデレーテッド NeRF 方法と比較して、グローバルモデルのサイズとクライアントの学習時間を削減しつつ、高い画像品質を維持すること。
• フレームワークが、季節的外観変化などの動的シーン変化をモデル化できることを示すこと。

提案手法

• 3DGSに特化した蒸留に基づくモデル更新プロトコルを設計し、完全なモデル送信なしに効率的なグローバルモデル集約を可能にした。
• 3DGSに外観モデリングコンponentを導入し、クライアント間でのカメラ露出や照明条件の変化に適応できるようにした。
• 外観モデルはフェデレーテッドな方法で共同訓練され、クライアントが生データを共有せずにグローバル外観表現を更新できるようにした。
• クライアントは自らのデータからローカルな 3D 再構築を実行し、蒸留されたモデル更新を中央サーバーに送信してグローバル集約を行う。
• フレームワークは反復的かつ継続的学習をサポートし、グローバルモデルが時間の経過とともにシーン変化に適応できるようにした。
• 本手法は、ミル19、ユーロンシーン3D、クアッド6K、および4シーズンの大型ベンチマークで評価され、季節適応性を検証した。

Figure 1 : The proposed federated learning framework. Clients collaboratively train a global model under the orchestration of a central server. Our framework continuously updates the global model by repeating steps 1 to 3.

実験結果

リサーチクエスチョン

• RQ1 中央集権的データ収集なしに、フェデレーテッドラーニングフレームワークが都市規模およびそれ以上の再構築に 3D ガウススプラッタリングを効果的にスケーリングできるか？
• RQ2 3Dガウス分布の高次元的かつ非一様な性質を考慮すると、フェデレーテッド環境下でモデル更新をどのように効率的に集約できるか？
• RQ3 3DGSにおける外観モデリングは、クライアント間での照明、露出、および季節的変化に起因する非 IID データを処理できるか？
• RQ4 提案されたフレームワークは、中央集権的 3DGS ベースラインと同等の画像品質を維持しながら、モデルサイズと学習時間を削減できるか？
• RQ5 継続的学習を通じて、季節的植生変化などの動的シーン変化をフレームワークが反映・適応できるか？

主な発見

• Fed3DGS は、中央集権的ベースラインと同等のレンダリング画像品質を達成し、ミル19およびユーロンシーン3Dで Mega-NeRF や Switch-NeRF と同等の SSIM および LPIPS スコアを達成した。
• フェデレーテッド NeRF ベースライン（FedNeRF）と比較して、グローバルモデルサイズとクライアント1回あたりの学習時間を削減し、スケーラビリティを向上させた。
• 外観モデリングにより、建物シーンで PSNR が 7.4% 向上し、瓦礫シーンで 6.2% 向上した。それに伴い SSIM は向上し、LPIPS は低下した。
• 4シーズンベンチマークでは、夏データで更新した後、冬データで更新したモデル（G_g^{S→W}）が冬の PSNR（14.78）を、冬データのみで学習したモデル（11.03）よりも高く達成した。これは動的適応の有効性を示している。
• 冬データで更新した後、夏データで更新したモデル（G_g^{W→S}）は、夏の PSNR（17.28）を、夏データのみで学習したモデル（18.26）よりも高く達成した。これは構造的変化が生じても、外観モデリングが効果的に機能することを示している。
• フレームワークは、外観モデルが季節ごとの照明や露出の変化に適切に対応できるようにすることで、季節的外観変化を効果的に捉えた。

Figure 2 : Illustration of the distillation-based model update. The result of distillation only with local cameras ( i.e. , cameras used to train a local model) has noisy Gaussians.