[論文レビュー] Federated Learning for Large-Scale Scene Modeling with Neural Radiance Fields

Teppei Suzuki|arXiv (Cornell University)|Sep 12, 2023

Remote Sensing and LiDAR Applications被引用数 4

ひとこと要約

本論文は、自動車やドローンからの分散データを活用して大規模なシーンモデリングを実現する、Neural Radiance Fields (NeRF) を用いたフェデレーテッドラーニングパイプラインを提案する。局所的なNeRF出力を3次元ボクセルグリッドとしてキャッシュし、微分可能レンダリングを用いてクライントのポーズをアライメントすることで、通信コストとメモリコストを低減しつつ、スケーラブルかつ保守可能なグローバルNeRFの更新を可能にする。各クライントの局所データが限られているにもかかわらず、Mill19データセットにおいて競争力のある性能を達成した。

ABSTRACT

We envision a system to continuously build and maintain a map based on earth-scale neural radiance fields (NeRF) using data collected from vehicles and drones in a lifelong learning manner. However, existing large-scale modeling by NeRF has problems in terms of scalability and maintainability when modeling earth-scale environments. Therefore, to address these problems, we propose a federated learning pipeline for large-scale modeling with NeRF. We tailor the model aggregation pipeline in federated learning for NeRF, thereby allowing local updates of NeRF. In the aggregation step, the accuracy of the clients' global pose is critical. Thus, we also propose global pose alignment to align the noisy global pose of clients before the aggregation step. In experiments, we show the effectiveness of the proposed pose alignment and the federated learning pipeline on the large-scale scene dataset, Mill19.

研究の動機と目的

• 地球規模のNeRFベースのシーンモデリングにおけるスケーラビリティと保守性の課題を、自動車やドローンからの分散データを用いて解決すること。
• 大規模環境における集中型NeRFトレーニングパイプラインの高い通信・ストレージ・計算コストを克服すること。
• データの中央集権化なしに局所的なモデル更新を可能にすることで、継続的かつ生涯にわたる地図のメンテナンスを実現すること。
• 大規模なNeRF地図における忘れの問題を、局所的グローバルモデル更新の支援によって軽減すること。
• クライントデバイスのセンサーエラーに起因するノイズの多いグローバルポーズに対する耐性を高めるために、新規のポーズアライメント手順を導入すること。

提案手法

• グローバルNeRFモデルは3次元ボクセルグリッドとして表現され、局所的なNeRFモデルの出力を集約することで局所的な更新が可能になる。
• クライントデータ上でトレーニングされた局所的なNeRFモデルの出力は、サーバーに送信する前にボクセル化された特徴グリッドとしてキャッシュされる。
• 新規のグローバルポーズアライメント手順により、グローバルモデルとローカルモデルからレンダリングされたRGBおよび深度画像の差を最小化することで、ノイズの多いクライントポーズを補正する。
• 集約プロセスでは、グローバル座標系におけるクライントポーズを用いて、キャッシュされたボクセル出力を組み合わせ、空間的一致性を保持する。
• グローバルモデルを再トレーニングせず、局所的にモデリングされた領域を超えてモデルの整合性を維持する。
• 完全な再トレーニングなしにインクリメンタルな更新が可能であるため、継続的学習をサポートする。

Figure 1 : Overview of the proposed federated learning pipeline for neural radiance fields.

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングは、データプライバシーを保ちつつ通信オーバーヘッドを低減する大規模なNeRFモデルのトレーニングに、効果的に適応可能か？
• RQ2 モバイル機器やドローンのセンサーに起因する不正確なグローバルポーズは、どのように補正可能か？これにより、局所的なNeRFモデルの正確な集約が保証されるか？
• RQ3 フェデレーテッド環境下において、局所データのスパarsityと視点制限が、グローバルNeRFモデルの品質に与える影響は何か？
• RQ4 エンドツーエンドのモデル集約と比較して、局所モデル出力のボクセルベースキャッシュは、レンダリング品質と計算効率の面でどのように異なるか？
• RQ5 本手法は、地球規模の環境における集中型または分散型NeRFトレーニングと比較して、より優れたスケーラビリティと保守性を達成できるか？

主な発見

• 提案されたフェデレーテッドラーニングパイプラインは、1クライントあたり最大1 GBの生データの代わりに0.1 GBのモデル重みのみを送信することで、通信コストとメモリコストを大幅に削減した。
• グローバルポーズアライメントは、ノイズの多いクライントポーズを補正することで、PSNRの向上と視覚的忠実度の向上によって、レンダリング品質の著しい向上を示した。
• MLPによる再計算を避けてキャッシュされたボクセルグリッドを直接サンプリングすることで、ベースラインや分散トレーニングと比較して高速なレンダリングを実現した。
• PSNRにおいて、本手法は局所データの制限とボクセルキャッシュにおける量子化誤差のため、フルベースラインより劣っているが、特に高周波数成分を含む建物シーンで顕著に顕在した。
• 低周波数成分の破壊シーンでは、量子化誤差が低減されているため、本手法は分散トレーニングを上回った。これは、適切な環境下で本手法の耐性が確認されたことを示している。
• 本手法は、スケーラブルかつプライバシー保護が可能で、保守可能な大規模なNeRF地図構築を可能にし、生涯にわたる協働的シーンモデリングの基盤を提供する。

Figure 2 : Overview of the proposed aggregation step. We first cache outputs of the local model on the grid voxels, $\tilde{V}^{i}_{\sigma}$ and $\tilde{V}^{i}_{c}$ , and then add them to the global voxel grid, $V_{\sigma}$ and $V_{c}$ .