[论文解读] Implicit Object Mapping With Noisy Data

Jad Abou-Chakra, Feras Dayoub+1 more|arXiv (Cornell University)|Apr 22, 2022

Advanced Neural Network Applications被引用 6

一句话总结

本文提出了一种针对从噪声较大的真实世界机器人数据中训练神经辐射场（NeRFs）的流水线，利用实例分割掩码和边界框将物体从背景中分离。结果表明，在优化过程中包含相机外参和深度监督可显著提升对位姿噪声和掩码误差的鲁棒性，即使在数据噪声较大的情况下也能实现亚厘米级（<1cm）重建精度。

ABSTRACT

Modelling individual objects in a scene as Neural Radiance Fields (NeRFs) provides an alternative geometric scene representation that may benefit downstream robotics tasks such as scene understanding and object manipulation. However, we identify three challenges to using real-world training data collected by a robot to train a NeRF: (i) The camera trajectories are constrained, and full visual coverage is not guaranteed - especially when obstructions to the objects of interest are present; (ii) the poses associated with the images are noisy due to odometry or localization noise; (iii) the objects are not easily isolated from the background. This paper evaluates the extent to which above factors degrade the quality of the learnt implicit object representation. We introduce a pipeline that decomposes a scene into multiple individual object-NeRFs, using noisy object instance masks and bounding boxes, and evaluate the sensitivity of this pipeline with respect to noisy poses, instance masks, and the number of training images. We uncover that the sensitivity to noisy instance masks can be partially alleviated with depth supervision and quantify the importance of including the camera extrinsics in the NeRF optimisation process.

研究动机与目标

• 评估从包含噪声相机位姿和实例分割掩码的真实世界机器人数据中训练以物体为中心的NeRF的可行性。
• 分析NeRF重建质量对相机位姿、实例分割掩码和训练图像数量中噪声的敏感性。
• 探究深度监督与相机外参优化是否能提升在机器人场景理解中对数据缺陷的鲁棒性。

提出的方法

• 该流水线通过使用宽松的边界框和实例分割掩码将场景分解为单个物体的NeRF，以将物体与背景分离。
• 光线被投射到三个区域：正样本区域（物体）、负样本区域（背景，优化为零密度）和遮挡区域（被排除在训练之外）。
• 使用Instant-NGP加速训练，通过基于深度的度量指标衡量几何重建误差。
• 通过向平移和旋转分量施加高斯扰动来引入位姿噪声，以模拟里程计误差。
• 通过相对于真实值的IoU可控降低生成实例掩码噪声，从而实现对掩码保真度的系统性评估。
• 在训练过程中，相机外参可选择固定或优化，以评估其对重建鲁棒性的影响。

实验结果

研究问题

• RQ1 当使用包含噪声相机位姿和实例分割掩码的真实世界数据训练时，物体NeRF能达到多高的精度？
• RQ2 在数据存在噪声的条件下，深度监督在多大程度上能提升重建质量？
• RQ3 NeRF训练对位姿误差的敏感程度如何？外参优化能否缓解该问题？
• RQ4 当掩码和位姿均存在噪声时，训练图像数量如何影响重建质量？
• RQ5 NeRF能否对3D不一致的数据（如跨视角对齐错误的实例掩码）具备鲁棒性？

主要发现

• 当使用真实值数据和深度监督进行训练时，物体NeRF可实现亚厘米级重建精度（在98% IoU下低于0.5cm）。
• 当在训练中优化相机外参时，NeRF可容忍高达2cm的平移噪声和3°的旋转误差。
• 深度监督比增加训练图像数量更能有效缓解噪声掩码带来的负面影响。
• 优化相机外参能显著提升对位姿噪声的鲁棒性，尤其在结合深度监督时效果更明显。
• 在理想条件下，该流水线可实现毫米级精度（100% IoU下为4mm），但若未应用深度监督，性能会因掩码噪声而迅速下降。
• 本研究揭示了对3D不一致掩码存在关键敏感性，凸显了在真实世界机器人应用中需要更鲁棒的训练方法。