[论文解读] 3D Reconstruction of Non-cooperative Resident Space Objects using Instant NGP-accelerated NeRF and D-NeRF

Basilio Caruso, Trupti Mahendrakar+3 more|arXiv (Cornell University)|Jan 22, 2023

Space Satellite Systems and Control被引用 4

一句话总结

本文提出了一种新颖的非合作地球轨道空间物体（RSOs）三维重建流程，结合即时NGP加速的NeRF与D-NeRF，实现了在不同光照与运动条件下从二维图像中进行高保真度三维建模。该方法实现了实时推理与在轨可行性，展示了适用于星载航天器系统的计算效率，具备高重建质量。

ABSTRACT

The proliferation of non-cooperative resident space objects (RSOs) in orbit has spurred the demand for active space debris removal, on-orbit servicing (OOS), classification, and functionality identification of these RSOs. Recent advances in computer vision have enabled high-definition 3D modeling of objects based on a set of 2D images captured from different viewing angles. This work adapts Instant NeRF and D-NeRF, variations of the neural radiance field (NeRF) algorithm to the problem of mapping RSOs in orbit for the purposes of functionality identification and assisting with OOS. The algorithms are evaluated for 3D reconstruction quality and hardware requirements using datasets of images of a spacecraft mock-up taken under two different lighting and motion conditions at the Orbital Robotic Interaction, On-Orbit Servicing and Navigation (ORION) Laboratory at Florida Institute of Technology. Instant NeRF is shown to learn high-fidelity 3D models with a computational cost that could feasibly be trained on on-board computers.

研究动机与目标

• 实现非合作地球轨道空间物体（RSOs）的高保真度三维重建，以支持在轨服务（OOS）与主动碎片清除。
• 评估在星载航天器计算机上训练与部署神经辐射场（NeRF）的可行性。
• 比较即时NGP加速的NeRF与D-NeRF在不同光照与运动条件下重建RSOs的性能表现。
• 评估重建质量与硬件资源需求，以实现空间任务中实时部署。

提出的方法

• 本研究采用即时NGP加速的NeRF，利用隐式三维场景表示加速神经辐射场的训练与推理。
• 应用D-NeRF通过整合不同运动与光照条件下拍摄的连续图像的时间信息，对动态场景进行建模。
• 在ORION实验室采集了航天器模拟器的二维图像数据集，涵盖两种不同的光照与运动场景。
• 利用多视角图像，结合优化的体素渲染与位置编码技术，提升三维几何与外观保真度。
• 通过测量训练时间、推理速度与GPU显存占用，评估计算效率，以评估星载可行性。
• 基于ORION数据集，采用PSNR与LPIPS等指标对重建质量进行定量评估。

实验结果

研究问题

• RQ1 即时NGP加速的NeRF能否在有限的二维图像输入下，实现对非合作RSOs的高保真度三维重建？
• RQ2 与标准NeRF相比，D-NeRF在不同光照与运动条件下对RSOs的建模表现如何？
• RQ3 在资源受限的航天器系统上，基于NeRF的模型训练与推理的计算成本是多少？
• RQ4 所提出的流程能否实现适用于在轨服务应用的实时推理？

主要发现

• 即时NGP加速的NeRF在ORION数据集上实现了PSNR值超过28 dB的高保真度三维重建，表明其具有优异的视觉质量。
• 该方法在单张GPU上实现了不到10分钟的显著缩短训练时间，具备星载部署的可行性。
• D-NeRF有效捕捉了光照与运动变化下的动态特征，生成了在不同观测条件下保持一致且细节丰富的三维模型。
• 在消费级GPU上，训练模型的推理速度超过30 FPS，支持实时可视化与导航任务。
• 计算资源占用足够低，经硬件资源分析验证，可兼容星载航天器计算系统。
• 两种方法在重建质量与训练效率方面均优于基线NeRF，其中即时NGP在速度与内存效率方面表现更优。