[論文レビュー] NerfBridge: Bringing Real-time, Online Neural Radiance Field Training to Robotics

Javier Yu, Jun En Low+2 more|arXiv (Cornell University)|May 16, 2023

CCD and CMOS Imaging Sensors被引用数 5

ひとこと要約

NerfBridge は、ROS と Nerfstudio ライブラリを統合することで、ロボティクス分野におけるリアルタイムでオンラインなニューラルレイトランスフィールド（NeRF）学習を可能にし、ストリーミングカメラデータからの継続的な NeRF の最適化を実現します。ドローンの飛行中にほぼリアルタイムの NeRF 更新が達成され、屋内および屋外のマルチローター飛行ミッションにおいて、数分以内に品質向上が観察されます。

ABSTRACT

This work was presented at the IEEE International Conference on Robotics and Automation 2023 Workshop on Unconventional Spatial Representations. Neural radiance fields (NeRFs) are a class of implicit scene representations that model 3D environments from color images. NeRFs are expressive, and can model the complex and multi-scale geometry of real world environments, which potentially makes them a powerful tool for robotics applications. Modern NeRF training libraries can generate a photo-realistic NeRF from a static data set in just a few seconds, but are designed for offline use and require a slow pose optimization pre-computation step. In this work we propose NerfBridge, an open-source bridge between the Robot Operating System (ROS) and the popular Nerfstudio library for real-time, online training of NeRFs from a stream of images. NerfBridge enables rapid development of research on applications of NeRFs in robotics by providing an extensible interface to the efficient training pipelines and model libraries provided by Nerfstudio. As an example use case we outline a hardware setup that can be used NerfBridge to train a NeRF from images captured by a camera mounted to a quadrotor in both indoor and outdoor environments. For accompanying video https://youtu.be/EH0SLn-RcDg and code https://github.com/javieryu/nerf_bridge.

研究の動機と目的

• オフライン NeRF 学習パイプラインの制限を克服することで、ロボティクス用途におけるリアルタイムでオンラインな NeRF 学習を可能にすること。
• ロボットオペレーティングシステム（ROS）と、Nerfstudio からの最新鋭な NeRF 学習を統合し、シームレスなロボティクス分野への展開を実現すること。
• ロボットの運用中にストリーミングカメラデータおよびポーズデータから、動的で継続的なシーン表現学習をサポートすること。
• オペレーターがリアルタイムでマップ品質を評価できるようにすることで、NeRF を用いたロボティクス応用における迅速なプロトタイピングとフィードバックを促進すること。
• 研究者がカスタムの NeRF アーキテクチャやポーズ推定手法を簡単に統合できるモジュラで拡張可能なソフトウェアブリッジを提供すること。

提案手法

• 搭載センサーからの RGB イメージとカメラポーズの別々のトピックを購読する ROS ノードをデプロイすること。
• 画像およびポーズ用の事前割り当て済みバッファを維持し、ロボットのセンサーストリームから継続的に新しいデータをインジェストすること。
• Nerfstudio の学習パイプラインと統合し、受信したデータプールを用いて継続的かつインクリメンタルな NeRF 学習を実行すること。
• 計算負荷を管理しつつ、学習データの時間的多様性を保持するため、サブサンプリング戦略（例：2 Hz）を採用すること。
• ORBSLAM3 を用いてリアルタイムのビジュアルオドメトリを推定し、ROS と互換性があり、NerfBridge の入力として使用すること。
• 高性能 GPU を搭載した地上局を活用し、NeRF 学習、ポーズ推定、モニタリングを並列で実行すること。

Figure 1: A basic outline of the functionality of the NerfBridge Package for integrating streaming images with real-time NeRF training.

実験結果

リサーチクエスチョン

• RQ1 標準的なロボティクスミドルウェア（例：ROS）を用いて、オンライン NeRF 学習をリアルタイムのロボティクスパイプラインに効果的に統合できるか？
• RQ2 動的環境において移動するロボットからの継続的なデータインジェスト中に、NeRF マップの品質はどのように変化するか？
• RQ3 データの重複と時間的サンプリングレートが、飛行中の NeRF 収束性および再構築忠実度に与える影響は何か？
• RQ4 リアルタイムの NeRF フィードバックは、ロボットマッピングタスクにおけるミッションプランニングやオペレーターの意思決定を改善できるか？
• RQ5 情報に基づくキーフレーム戦略は、オンライン環境における NeRF 学習の安定性を向上させ、深刻な忘却を回避できるか？

主な発見

• NerfBridge はストリーミングデータからのリアルタイム NeRF 学習を可能にし、飛行開始から1分以内にマップ品質の顕著な向上が観察された。
• 飛行開始から約1分後には、追加の画像がほとんど改善をもたらさず、NeRF 品質の収束とデータの重複が示された。
• 本システムは屋内および屋外のシーンを正常に再構築でき、建物の外壁、窓、照明の詳細など複雑なマルチスケール構造を含む。
• 2.5分間の屋内飛行で収集された300枚の画像データセットにより、フォームピラミッドおよび周囲の部屋の特徴を高精細に再構築した NeRF マップが得られた。
• スタンフォード大学のエリオット・センターでの屋外マッピングでは、自然光および複雑なテクスチャ環境でも優れた性能を示し、建物の詳細が正確に再構築された。
• ORBSLAM3 を用いたポーズ推定と Nerfstudio を用いた NeRF 学習の統合により、低遅延で継続的なマップの最適化が可能となり、リアルタイムフィードバックに適した性能を達成した。

Figure 2: The reconstruction of the NeRF generated overtime from flying a helical trajectory around a foam box and pipes using NerfBridge.