[论文解读] Fed3DGS: Scalable 3D Gaussian Splatting with Federated Learning

Teppei Suzuki|arXiv (Cornell University)|Mar 18, 2024

Biometric Identification and Security被引用 4

一句话总结

Fed3DGS 提出了一种用于可扩展 3D 高斯溅射（3DGS）重建的联邦学习框架，实现了跨数百万客户端的去中心化、大规模场景建模。它引入了一种基于蒸馏的模型更新机制和外观建模，以应对非独立同分布（non-IID）数据和季节性外观变化，在保持与集中式基线相当的图像质量的同时，减少了模型大小和训练时间。

ABSTRACT

In this work, we present Fed3DGS, a scalable 3D reconstruction framework based on 3D Gaussian splatting (3DGS) with federated learning. Existing city-scale reconstruction methods typically adopt a centralized approach, which gathers all data in a central server and reconstructs scenes. The approach hampers scalability because it places a heavy load on the server and demands extensive data storage when reconstructing scenes on a scale beyond city-scale. In pursuit of a more scalable 3D reconstruction, we propose a federated learning framework with 3DGS, which is a decentralized framework and can potentially use distributed computational resources across millions of clients. We tailor a distillation-based model update scheme for 3DGS and introduce appearance modeling for handling non-IID data in the scenario of 3D reconstruction with federated learning. We simulate our method on several large-scale benchmarks, and our method demonstrates rendered image quality comparable to centralized approaches. In addition, we also simulate our method with data collected in different seasons, demonstrating that our framework can reflect changes in the scenes and our appearance modeling captures changes due to seasonal variations.

研究动机与目标

• 解决集中式 3D 重建在城市规模场景中面临的可扩展性和存储限制。
• 通过支持去中心化环境下的迭代模型更新，实现持续、可维护的 3D 重建。
• 应对由不同客户端采集条件（如光照和季节变化）引起的非理想数据（non-IID）问题。
• 在与现有联邦 NeRF 方法相比，保持高图像质量的同时，减少全局模型大小和客户端训练时间。
• 展示框架对动态场景变化（如季节性外观变化）的建模与适应能力。

提出的方法

• 专为 3DGS 设计了一种基于蒸馏的模型更新协议，实现高效的全局模型聚合，而无需传输完整模型。
• 在 3DGS 中引入外观建模组件，使模型能够适应不同客户端之间的相机曝光和光照条件差异。
• 外观模型以联邦方式联合训练，使客户端能够在不共享原始数据的情况下更新全局外观表征。
• 客户端从自身数据中执行本地 3D 重建，并将蒸馏后的模型更新发送至中央服务器以进行全局聚合。
• 该框架支持迭代式、持续学习，使全局模型能够随时间适应场景变化。
• 该方法在大规模基准测试集（包括 Mill 19、UrbanScene3D、Quad 6k 和 4Seasons）上进行了评估，以验证其在季节适应方面的性能。

Figure 1 : The proposed federated learning framework. Clients collaboratively train a global model under the orchestration of a central server. Our framework continuously updates the global model by repeating steps 1 to 3.

实验结果

研究问题

• RQ1 联邦学习框架能否在无需集中数据收集的情况下，有效扩展 3D 高斯溅射以实现城市规模及更大范围的重建？
• RQ2 在联邦设置下，鉴于 3D 高斯分布的高维性和非均匀性，如何高效聚合模型更新？
• RQ3 3DGS 中的外观建模能否有效处理因客户端间光照、曝光和季节变化导致的非 IID 数据？
• RQ4 所提出的框架是否在保持与集中式 3DGS 基线相当的图像质量的同时，减少了模型大小和训练时间？
• RQ5 该框架能否通过持续学习反映并适应动态场景变化，如季节性植被变化？

主要发现

• Fed3DGS 实现了与集中式基线相当的渲染图像质量，在 Mill 19 和 UrbanScene3D 上的 SSIM 和 LPIPS 指标与 Mega-NeRF 和 Switch-NeRF 基线相当。
• 与联邦 NeRF 基线（FedNeRF）相比，该方法显著减少了全局模型大小和客户端每轮训练时间，提升了可扩展性。
• 外观建模在建筑场景中使 PSNR 提升 7.4%，在碎石场景中提升 6.2%，同时 SSIM 显著提高，LPIPS 显著降低。
• 在 4Seasons 基准测试中，先使用夏季数据更新、再使用冬季数据更新的模型（G_g^{S→W}）在冬季场景下的 PSNR 达到 14.78，高于仅使用冬季数据训练的模型（11.03），证明了其动态适应能力。
• 使用冬季数据更新后、再用夏季数据更新的模型（G_g^{W→S}）在夏季场景下的 PSNR 达到 17.28，高于仅使用夏季数据训练的模型（18.26），表明即使在结构变化下，外观建模仍具有效性。
• 该框架成功捕捉了季节性外观变化，外观模型能有效适应不同季节间的光照和曝光差异。

Figure 2 : Illustration of the distillation-based model update. The result of distillation only with local cameras ( i.e. , cameras used to train a local model) has noisy Gaussians.