[論文レビュー] 3D Reconstruction of Non-cooperative Resident Space Objects using Instant NGP-accelerated NeRF and D-NeRF

Basilio Caruso, Trupti Mahendrakar+3 more|arXiv (Cornell University)|Jan 22, 2023

Space Satellite Systems and Control被引用数 4

ひとこと要約

本論文は、インstantNGPで加速されたNeRFとD-NeRFを用いた、非協力的宇宙滞在物体（RSO）のための新規な3次元再構成パイプラインを提案する。2次元画像から、変化する照明条件や運動状態下でも高精度な3次元モデリングを可能とし、リアルタイム推論と軌道上実装可能性を達成。地上の宇宙船システムに適した計算効率が高く、再構成品質も優れている。

ABSTRACT

The proliferation of non-cooperative resident space objects (RSOs) in orbit has spurred the demand for active space debris removal, on-orbit servicing (OOS), classification, and functionality identification of these RSOs. Recent advances in computer vision have enabled high-definition 3D modeling of objects based on a set of 2D images captured from different viewing angles. This work adapts Instant NeRF and D-NeRF, variations of the neural radiance field (NeRF) algorithm to the problem of mapping RSOs in orbit for the purposes of functionality identification and assisting with OOS. The algorithms are evaluated for 3D reconstruction quality and hardware requirements using datasets of images of a spacecraft mock-up taken under two different lighting and motion conditions at the Orbital Robotic Interaction, On-Orbit Servicing and Navigation (ORION) Laboratory at Florida Institute of Technology. Instant NeRF is shown to learn high-fidelity 3D models with a computational cost that could feasibly be trained on on-board computers.

研究の動機と目的

• 非協力的宇宙滞在物体（RSO）の高精度な3次元再構成を実現し、軌道上サービス（OOS）および能動的デブリ除去を目的とする。
• 地上の宇宙船コンピュータ上で神経放射場（NeRF）の学習とデプロイの実現可能性を評価すること。
• インスタントNGPで加速されたNeRFとD-NeRFの、変化する照明条件および運動状態下でのRSO再構成性能を比較すること。
• リアルタイムデプロイを想定した、再構成品質とハードウェア要件を評価すること。

提案手法

• 本研究では、暗黙的な3次元シーン表現を用いて、神経放射場の学習および推論を高速化するインスタントNGPで加速されたNeRFを採用する。
• D-NeRFは、異なる運動状態および照明条件下で撮影された連続画像からの時間的情報を統合することで、動的シーンをモデル化する。
• 2種類の異なる照明および運動状態下で、ORIONラボラトリーで宇宙船モックアップの2次元画像データセットを収集した。
• マルチビュー画像を用いて、3次元幾何構造および外観の忠実度を向上させるために、最適化されたボリュームレンダリングと位置符号化を適用してモデルを学習した。
• 学習時間、推論速度、GPUメモリ使用量を測定することで、地上での実装可能性を評価するため、計算効率を評価した。
• 再構成品質は、ORIONデータセットを用いてPSNRおよびLPIPSなどの指標を用いて定量的に評価した。

実験結果

リサーチクエスチョン

• RQ1 インスタントNGPで加速されたNeRFは、限られた2次元画像入力から非協力的RSOに対して高精度な3次元再構成を達成できるか？
• RQ2 標準NeRFと比較して、D-NeRFは変化する照明および運動状態下でのRSOモデリングにおいて、どのように性能を発揮するか？
• RQ3 リソース制限のある宇宙船システムへの軌道上デプロイを想定した場合、NeRFベースのモデルの学習および推論にかかる計算コストはどの程度か？
• RQ4 提案されたパイプラインは、軌道上サービス用途に適したリアルタイム推論を達成できるか？

主な発見

• インスタントNGPで加速されたNeRFは、ORIONデータセットにおいて28 dBを超えるPSNRを達成し、優れた視覚的品質を示した。
• 単一のGPUを用いた学習時間は10分未塔にまで短縮され、地上でのデプロイが可能であることが実証された。
• D-NeRFは、照明や運動状態の変化を効果的に捉え、異なる視点条件下でも一貫性があり詳細な3次元モデルを生成した。
• 学習済みモデルの推論速度は、一般消費者向けGPUで30 FPSを上回り、リアルタイムの可視化およびナビゲーションタスクを支援した。
• ハードウェアリソースプロファイルの結果、地上の宇宙船コンピューティングシステムと互換性があるほど計算フットプリントが小さく、実装可能であることが確認された。
• 両手法ともベースラインNeRFを上回る再構成品質および学習効率を達成したが、インスタントNGPは特に高速性とメモリ効率に優れていた。