[논문 리뷰] Federated Learning for Large-Scale Scene Modeling with Neural Radiance Fields

Teppei Suzuki|arXiv (Cornell University)|2023. 09. 12.

Remote Sensing and LiDAR Applications인용 수 4

한 줄 요약

이 논문은 차량과 드론에서의 분산된 데이터를 활용해 대규모 시점 모델링을 위한 피어드 페더레이티드 러닝 파이프라인을 제안한다. 신경 레이디언스 필드(NeRF)를 사용하여 기밀 보장된 분산 학습을 가능하게 하며, 로컬 NeRF 출력을 3D 바이트 격자로 캐시하고, 유연한 렲영을 통해 클라이언트의 자세를 정렬함으로써 통신 및 메모리 비용을 줄이며 스케일링 가능하고 유지보수 가능한 글로벌 NeRF 업데이트를 실현한다. 이는 국소 데이터가 제한된 상황에서도 Mill19 데이터셋에서 경쟁적인 성능을 달성한다.

ABSTRACT

We envision a system to continuously build and maintain a map based on earth-scale neural radiance fields (NeRF) using data collected from vehicles and drones in a lifelong learning manner. However, existing large-scale modeling by NeRF has problems in terms of scalability and maintainability when modeling earth-scale environments. Therefore, to address these problems, we propose a federated learning pipeline for large-scale modeling with NeRF. We tailor the model aggregation pipeline in federated learning for NeRF, thereby allowing local updates of NeRF. In the aggregation step, the accuracy of the clients' global pose is critical. Thus, we also propose global pose alignment to align the noisy global pose of clients before the aggregation step. In experiments, we show the effectiveness of the proposed pose alignment and the federated learning pipeline on the large-scale scene dataset, Mill19.

연구 동기 및 목표

• 차량과 드론에서 온 분산된 데이터를 활용해 지구 규모의 NeRF 기반 시점 모델링에서의 확장성과 유지보수 문제를 해결하기 위해.
• 대규모 환경에서 중심 집중식 NeRF 학습 파이프라인의 높은 통신, 저장, 계산 비용을 해결하기 위해.
• 데이터 중앙집중화 없이 국소 모델 업데이트를 허용함으로써 지속적이고 연속적인 지ap 유지 기능을 제공하기 위해.
• 국소적 글로벌 모델 업데이트를 지원함으로써 대규모 NeRF 지도에서의 기억 상실 문제를 완화하기 위해.
• 클라이언트 장치의 센서 오류로 인한 노이즈가 있는 글로벌 자세에 대응하기 위해 새로운 자세 정렬 단계를 도입하기 위해.

제안 방법

• 글로벌 NeRF 모델은 3D 바이트 격자로 표현되어 국소 모델의 출력을 집계함으로써 국소 업데이트가 가능하다.
• 로컬 NeRF 모델은 클라이언트 데이터에서 학습되며, 서버로 전송하기 전에 출력을 바이트화된 특징 격자로 캐시한다.
• 새로운 글로벌 자세 정렬 단계는 글로벌 및 로컬 모델에서 렌더링된 RGB 및 깊이 이미지 간의 차이를 최소화하여 노이즈가 있는 클라이언트 자세를 보정한다.
• 집계 과정은 글로벌 좌표계에서의 클라이언트 자세를 사용하여 캐시된 바이트 출력을 결합함으로써 공간 일관성을 유지한다.
• 글로벌 모델을 다시 학습하지 않고도 모델 무결성을 유지하며, 국소적으로 모델링된 영역 이외의 영역까지도 유지된다.
• 전체 재학습 없이도 점진적 업데이트가 가능하므로 지속적 학습을 지원한다.

Figure 1 : Overview of the proposed federated learning pipeline for neural radiance fields.

실험 결과

연구 질문

• RQ1 피어드 페더레이티드 러닝이 대규모 NeRF 모델을 효과적으로 학습시킬 수 있는가? 이는 데이터 기밀 보장을 유지하고 통신 오버헤드를 줄일 수 있는가?
• RQ2 모바일 및 드론 센서에서 유도된 정확하지 않은 글로벌 자세는 어떻게 보정할 수 있는가? 이를 통해 국소 NeRF 모델의 정확한 집계를 보장할 수 있는가?
• RQ3 피어드 환경에서 국소 데이터의 희소성과 시점 제한이 글로벌 NeRF 모델 품질에 미치는 영향은 어떠한가?
• RQ4 렌더링 품질과 계산 효율성 측면에서, 로컬 모델 출력의 바이트 기반 캐싱은 엔드 투 엔드 모델 집계보다 어떻게 비교되는가?
• RQ5 제안된 방법은 지구 규모 환경에서 중심 집중식 또는 분산된 NeRF 학습보다 더 나은 확장성과 유지보수성을 달성할 수 있는가?

주요 결과

• 제안된 피어드 페더레이티드 러닝 파이프라인은 클라이언트당 최대 1 GB의 원시 데이터 대신 0.1 GB의 모델 가중치만 전송함으로써 통신 및 메모리 비용을 줄였다.
• 글로벌 자세 정렬은 노이즈가 있는 클라이언트 자세를 보정함으로써 렌더링 품질을 크게 향상시켰으며, PSNR 향상과 시각적 정밀도 향상으로 입증되었다.
• MLP를 다시 계산하는 대신 캐시된 바이트 격자에서 직접 샘플링하므로, 베이스라인 및 분산 학습 대비 더 빠른 렌더링 성능을 달성했다.
• 제한된 국소 데이터와 바이트 캐싱에서 발생하는 양자화 오류로 인해, 특히 고주파수 건물 영역에서는 PSNR가 전체 기준 베이스라인보다 열 劣하다.
• 저주파수 뿌리 흩어진 풍경에서는 분산 학습 대비 양자화 오차가 감소하여 제안된 방법이 승리적으로 작동함을 입증하였으며, 이는 적합한 환경에서의 방법의 강건성을 보여준다.
• 이 방법은 확장 가능하고, 기밀 보장이 되며, 유지보수 가능한 대규모 NeRF 지도 구축을 가능하게 하여, 수명 주기 동안 지속적인 협업 기반의 시점 모델링의 기초를 마련한다.

Figure 2 : Overview of the proposed aggregation step. We first cache outputs of the local model on the grid voxels, $\tilde{V}^{i}_{\sigma}$ and $\tilde{V}^{i}_{c}$ , and then add them to the global voxel grid, $V_{\sigma}$ and $V_{c}$ .