[論文レビュー] Multi-tiling Neural Radiance Field (NeRF) -- Geometric Assessment on Large-scale Aerial Datasets

Ningli Xu, Rongjun Qin+2 more|arXiv (Cornell University)|Oct 1, 2023

Advanced Vision and Imaging参考文献 57被引用数 5

ひとこと要約

本稿では、NeRFを用いた大規模航空3D再構築のためのスケーラブルなフレームワークであるマルチタイリングニューラルレイトランスフィールド（MCT-NeRF）を提案する。大規模な画像を位置固有のサンプリングとマルチカメラモデリングを伴うタイル化された部分領域に分解することで、メモリ使用量を削減し、収束を高速化し、従来の写真測量的MVSパイプラインと比較して優れた幾何的完全性と詳細度を達成しているが、精度はLiDARベンチマークに及ばない。

ABSTRACT

Neural Radiance Fields (NeRF) offer the potential to benefit 3D reconstruction tasks, including aerial photogrammetry. However, the scalability and accuracy of the inferred geometry are not well-documented for large-scale aerial assets,since such datasets usually result in very high memory consumption and slow convergence.. In this paper, we aim to scale the NeRF on large-scael aerial datasets and provide a thorough geometry assessment of NeRF. Specifically, we introduce a location-specific sampling technique as well as a multi-camera tiling (MCT) strategy to reduce memory consumption during image loading for RAM, representation training for GPU memory, and increase the convergence rate within tiles. MCT decomposes a large-frame image into multiple tiled images with different camera models, allowing these small-frame images to be fed into the training process as needed for specific locations without a loss of accuracy. We implement our method on a representative approach, Mip-NeRF, and compare its geometry performance with threephotgrammetric MVS pipelines on two typical aerial datasets against LiDAR reference data. Both qualitative and quantitative results suggest that the proposed NeRF approach produces better completeness and object details than traditional approaches, although as of now, it still falls short in terms of accuracy.

研究の動機と目的

• NeRFのスケーラビリティと大規模航空写真測量におけるメモリ制限を解決すること。
• 大規模な航空データセット上でNeRFトレーニングの際のGPU/RAMメモリ消費量を削減し、収束速度を向上させること。
• LiDARを基準として用い、既存の写真測量的MVSパイプラインと比較してNeRFの幾何的精度と完全性を評価すること。
• 局所的で効率的なトレーニングを可能にしつつ、幾何的忠実度を維持するタイリング戦略を開発すること。

提案手法

• シーン内での空間的関連性に基づいてトレーニングレイを優先順位づける位置固有のサンプリング技術を導入する。
• 大規模フレームの航空画像を複数の小さなタイルに分割するマルチカメラタイリング（MCT）戦略を提案する。各タイルには独自のカメラモデルが割り当てられる。
• Mip-NeRFにMCT戦略を適用し、GPU上で関連するタイルのみを処理することで、局所的で効率的なトレーニングを可能にする。
• タイルベースの推論を用いて、一度に全シーンをメモリに保持せずに高解像度の3D幾何を再構築する。
• 各タイル内での階層的サンプリングスキームを適用し、ボリュームレンダリングの品質と収束速度を向上させる。
• 幾何的評価のための基準としてLiDDRFを用い、2つの大規模な航空データセット上で手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 大規模な航空データセットにNeRFを効果的にスケーリングできるか、計算コストやメモリ使用量が非現実的になることはないか？
• RQ2 大規模な航空データ上で評価した場合、NeRFの幾何的品質は従来の写真測量的MVSパイプラインと比べてどの程度か？
• RQ3 マルチタイリング戦略は、フル画像NeRFトレーニングと比較して、幾何的精度と詳細度をどの程度維持できるか？
• RQ4 位置固有のサンプリングは、航空画像におけるNeRFトレーニングの収束速度を向上させるとともに、メモリ使用量を削減できるか？

主な発見

• 提案されたMCT-NeRF手法は、フルフレームではなくタイル化された部分領域を処理することで、画像読み込みおよびGPUトレーニング中のメモリ消費量を顕著に削減した。
• 局所的トレーニングにより、各タイルが独立して処理され、最適化されたサンプリングが施されるため、収束速度が向上した。
• 定性的な結果から、MCT-NeRFは従来の写真測量的MVSパイプラインと比較して、より完全な3D再構築と優れたオブジェクトの詳細度を実現した。
• 定量的評価では、MCT-NeRFがMVSを上回る完全性と表面の詳細度を示したが、LiDAR基準データと比較して幾何的精度は依然として劣っていた。
• マルチタイリング戦略により、タイル境界部でも幾何的忠実度が維持されており、再構築において最小限のアーティファクトが観察された。