[논문 리뷰] Fed3DGS: Scalable 3D Gaussian Splatting with Federated Learning

Teppei Suzuki|arXiv (Cornell University)|2024. 03. 18.

Biometric Identification and Security인용 수 4

한 줄 요약

Fed3DGS는 대규모 3D 가우시안 스플래터링(3DGS) 재구성에 적합한 분산 학습 프레임워크를 제안하며, 수백만 명의 클라이언트에 걸쳐 분산형으로 대규모 시나리오 모델링을 가능하게 한다. 비용 효율적인 모델 업데이트 방식과 외관 모델링을 도입하여 비독립 동일 분포(non-IID) 데이터 및 계절에 따른 외관 변화를 처리하며, 중심 집중형 기준과 유사한 이미지 품질을 달성하면서도 모델 크기와 학습 시간을 줄인다.

ABSTRACT

In this work, we present Fed3DGS, a scalable 3D reconstruction framework based on 3D Gaussian splatting (3DGS) with federated learning. Existing city-scale reconstruction methods typically adopt a centralized approach, which gathers all data in a central server and reconstructs scenes. The approach hampers scalability because it places a heavy load on the server and demands extensive data storage when reconstructing scenes on a scale beyond city-scale. In pursuit of a more scalable 3D reconstruction, we propose a federated learning framework with 3DGS, which is a decentralized framework and can potentially use distributed computational resources across millions of clients. We tailor a distillation-based model update scheme for 3DGS and introduce appearance modeling for handling non-IID data in the scenario of 3D reconstruction with federated learning. We simulate our method on several large-scale benchmarks, and our method demonstrates rendered image quality comparable to centralized approaches. In addition, we also simulate our method with data collected in different seasons, demonstrating that our framework can reflect changes in the scenes and our appearance modeling captures changes due to seasonal variations.

연구 동기 및 목표

• 도시 규모의 시나리오에 대한 중심 집중형 3D 재구성의 확장성과 저장 용량 제약 문제를 해결하기 위해.
• 분산된 방식으로 반복적인 모델 업데이트를 지원함으로써 지속적이고 유지보수 가능한 3D 재구성을 가능하게 하기 위해.
• 조명 및 계절 변화와 같은 다양한 클라이언트 촬영 조건으로 인한 비이상적 데이터(non-IID)를 처리하기 위해.
• 기존의 분산 NeRF 방법에 비해 전역 모델 크기와 클라이언트 학습 시간을 줄이면서도 높은 이미지 품질을 유지하기 위해.
• 계절 변화와 같은 동적 시나리오 변화, 예를 들어 식생 변화를 모델링하고 이를 지속적인 학습을 통해 적응하기 위해.

제안 방법

• 3DGS에 특화된 정규화 기반 모델 업데이트 프로토콜을 설계하여, 전체 모델 전송 없이도 효율적인 전역 모델 집약을 가능하게 한다.
• 3DGS에 외관 모델링 구성 요소를 도입하여, 클라이언트 간의 카메라 노출 및 조명 조건의 변화에 적응할 수 있도록 한다.
• 외관 모델은 분산 방식으로 공동 학습되며, 원시 데이터를 공유하지 않고도 전역 외관 표현을 업데이트할 수 있도록 한다.
• 클라이언트는 자체 데이터에서 국소 3D 재구성을 수행하고, 정규화된 모델 업데이트를 중앙 서버에 전송하여 전역 집약을 수행한다.
• 이 프레임워크는 반복적이고 지속적인 학습을 지원하여 전역 모델이 시간이 지남에 따라 시나리오 변화에 적응할 수 있도록 한다.
• 대규모 벤치마크인 Mill 19, UrbanScene3D, Quad 6k 및 4Seasons를 활용하여 계절 적응을 위한 평가를 수행한다.

Figure 1 : The proposed federated learning framework. Clients collaboratively train a global model under the orchestration of a central server. Our framework continuously updates the global model by repeating steps 1 to 3.

실험 결과

연구 질문

• RQ1 중앙 집중형 데이터 수집 없이도 분산 학습 프레임워크가 도시 규모 이상의 3D 가우시안 스플래터링 재구성에 효과적으로 확장 가능한가?
• RQ2 3D 가우시안의 고차원적이고 비균일한 특성 고려 시, 분산 환경에서 모델 업데이트를 어떻게 효율적으로 집약할 수 있는가?
• RQ3 3DGS에서의 외관 모델링이 클라이언트 간 조명, 노출 및 계절 변화로 인한 비독립 동일 분포 데이터를 처리할 수 있는가?
• RQ4 제안된 프레임워크는 기존 중심 집중형 3DGS 기준과 유사한 이미지 품질을 유지하면서도 모델 크기와 학습 시간을 줄일 수 있는가?
• RQ5 지속적인 학습을 통해 계절 변화와 같은 동적 시나리오 변화, 예를 들어 식생 변화를 반영하고 적응할 수 있는가?

주요 결과

• Fed3DGS는 중심 집중형 기준과 유사한 렌더링 이미지 품질을 달성하며, Mill 19 및 UrbanScene3D에서 Mega-NeRF 및 Switch-NeRF와 유사한 SSIM 및 LPIPS 점수를 확보한다.
• 기존의 분산 NeRF 기준(FedNeRF)에 비해 전역 모델 크기와 클라이언트 당 학습 시간을 줄여 확장성을 향상시킨다.
• 외관 모델링은 건물 시나리오에서 PSNR을 7.4% 향상시키며, 잔해 시나리오에서는 6.2% 향상시키며, 이는 SSIM 향상과 LPIPS 감소와도 상관관계가 있다.
• 4Seasons 벤치마크에서 여름 데이터로 업데이트한 후 겨울 데이터로 업데이트한 모델(G_g^{S→W})은 겨울 시나리오에서 PSNR 14.78을 기록하여 겨울 데이터로만 학습한 모델(11.03)보다 높은 성능을 보이며 동적 적응 능력을 입증한다.
• 겨울 데이터로 업데이트한 후 여름 데이터로 업데이트한 모델(G_g^{W→S})는 여름 시나리오에서 PSNR 17.28을 기록하여 여름 데이터로만 학습한 모델(18.26)보다 높은 성능을 보이며, 구조적 변화가 있음에도 효과적인 외관 모델링이 가능함을 시사한다.
• 프레임워크는 계절 외관 변화를 성공적으로 포착하였으며, 외관 모델이 계절 간 조명 및 노출 변화에 효과적으로 대응함을 입증하였다.

Figure 2 : Illustration of the distillation-based model update. The result of distillation only with local cameras ( i.e. , cameras used to train a local model) has noisy Gaussians.