[論文レビュー] Implicit Object Mapping With Noisy Data

Jad Abou-Chakra, Feras Dayoub+1 more|arXiv (Cornell University)|Apr 22, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文は、ノイズが多い実世界のロボットデータから個々の物体を対象にNeural Radiance Fields (NeRF)を訓練するためのパイプラインを提案する。インスタンスマスクとバウンディングボックスを用いて物体を背景から分離する。カメラの外挿を最適化し、深度の監視を組み込むことで、ポーズのノイズやマスクの誤差に対して著しく高い耐性を示し、ノイズが多いデータでも1cm未満の再構成精度を達成する。

ABSTRACT

Modelling individual objects in a scene as Neural Radiance Fields (NeRFs) provides an alternative geometric scene representation that may benefit downstream robotics tasks such as scene understanding and object manipulation. However, we identify three challenges to using real-world training data collected by a robot to train a NeRF: (i) The camera trajectories are constrained, and full visual coverage is not guaranteed - especially when obstructions to the objects of interest are present; (ii) the poses associated with the images are noisy due to odometry or localization noise; (iii) the objects are not easily isolated from the background. This paper evaluates the extent to which above factors degrade the quality of the learnt implicit object representation. We introduce a pipeline that decomposes a scene into multiple individual object-NeRFs, using noisy object instance masks and bounding boxes, and evaluate the sensitivity of this pipeline with respect to noisy poses, instance masks, and the number of training images. We uncover that the sensitivity to noisy instance masks can be partially alleviated with depth supervision and quantify the importance of including the camera extrinsics in the NeRF optimisation process.

研究の動機と目的

• 実世界のロボットデータからノイズの多いカメラポーズとインスタンスマスクを用いて、オブジェクト中心のNeRFを訓練する可能性を評価すること。
• カメラポーズ、インスタンスマスク、トレーニング画像数のノイズがNeRF再構成品質に与える感受性を分析すること。
• 深度監視とカメラ外挿の最適化が、ロボットシーン理解におけるデータの不完全さに対する耐性を向上させることを調査すること。

提案手法

• パイプラインは、ゆるいバウンディングボックスとインスタンスマスクを用いて、シーンを個々のオブジェクトNeRFに分解する。
• 光線は3つの領域を通過する：ポジティブ（オブジェクト）、ネガティブ（背景、密度を0に最適化）、マスク領域（遮蔽、トレーニングから除外）。
• 速度を向上させるためにInstant-NGPを用いてNeRFトレーニングを実施し、深度ベースの指標を用いて幾何的再構成誤差を測定する。
• オドメトリの誤差を模倣するために、トランスレーションおよび回転にガウスノイズを導入してポーズノイズを生成する。
• マスクの適合度を制御的に低下させることで、インスタンスマスクノイズを生成し、マスク適合度の系統的評価を可能にする。
• カメラ外挿はトレーニング中に固定または最適化可能であり、再構成の耐性に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多いカメラポーズとインスタンスマスクを用いてトレーニングされたオブジェクトNeRFは、どの程度の精度に達するか？
• RQ2 ノイズの多いデータ条件下で、深度監視が再構成品質をどの程度向上させるか？
• RQ3 NeRFトレーニングはカメラポーズの誤差に対してどの程度感受性を示すか？また、外挿の最適化はその影響を軽減できるか？
• RQ4 マスクとポーズがノイズを含む場合、トレーニング画像の数が再構成品質にどのように影響するか？
• RQ5 3D的に整合性のないデータ、例えば複数の視点でずれたインスタンスマスクに対して、NeRFはどの程度耐性を示せるか？

主な発見

• グランドトゥルースデータと深度監視を用いてトレーニングした場合、オブジェクトNeRFは1cm未塔の再構成精度（98% IoUで0.5cm未塔）を達成する。
• カメラ外挿をトレーニング中に最適化することで、トランスレーションノイズが2cm、回転誤差が3度まで耐えられる。
• 深度監視は、トレーニング画像数の増加よりも、ノイズの多いインスタンスマスクの悪影響をより効果的に軽減する。
• カメラ外挿の最適化は、特に深度監視と組み合わせた場合、ポーズノイズに対する耐性を顕著に向上させる。
• 理想的な条件下ではミリメートルレベルの精度（100% IoUで4mm）を達成するが、マスクノイズが存在する場合は深度監視が適用されない限り、性能は急激に低下する。
• 本研究は、3D的に整合性のないマスクに対して極めて感受性が高いことが判明し、実世界のロボットアプリケーションにおけるより強固なトレーニング手順の必要性を浮き彫りにしている。