[논문 리뷰] Implicit Object Mapping With Noisy Data

Jad Abou-Chakra, Feras Dayoub외 1명|arXiv (Cornell University)|2022. 04. 22.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 노이즈가 많은 실제 로봇 데이터에서 개별 물체에 대해 신경형 볼륨 영역 장면(NeRF)을 훈련하기 위한 파이프라인을 제안한다. 개별 물체를 배경에서 분리하기 위해 인스턴스 마스크와 경계 박스를 사용한다. 결과적으로 카메라 외부 파rameter를 최적화하고 깊이 감독을 통합할 경우, 자세 노이즈와 마스크 오류에 대해 훨씬 더 강건한 성능을 보이며, 노이즈가 있는 데이터에서도 1cm 이내의 재구성 정확도를 달성한다.

ABSTRACT

Modelling individual objects in a scene as Neural Radiance Fields (NeRFs) provides an alternative geometric scene representation that may benefit downstream robotics tasks such as scene understanding and object manipulation. However, we identify three challenges to using real-world training data collected by a robot to train a NeRF: (i) The camera trajectories are constrained, and full visual coverage is not guaranteed - especially when obstructions to the objects of interest are present; (ii) the poses associated with the images are noisy due to odometry or localization noise; (iii) the objects are not easily isolated from the background. This paper evaluates the extent to which above factors degrade the quality of the learnt implicit object representation. We introduce a pipeline that decomposes a scene into multiple individual object-NeRFs, using noisy object instance masks and bounding boxes, and evaluate the sensitivity of this pipeline with respect to noisy poses, instance masks, and the number of training images. We uncover that the sensitivity to noisy instance masks can be partially alleviated with depth supervision and quantify the importance of including the camera extrinsics in the NeRF optimisation process.

연구 동기 및 목표

• 노이즈가 있는 카메라 자세와 인스턴스 마스크를 가진 실제 로봇 데이터에서 물체 중심 NeRF를 훈련할 수 있는지의 가능성을 평가하는 것.
• 카메라 자세, 인스턴스 마스크, 훈련 이미지 수의 노이즈에 따른 NeRF 재구성 품질의 민감도를 분석하는 것.
• 깊이 감독과 카메라 외부 파ram터 최적화가 로봇 시cene 이해에서 데이터의 열악한 조건에 대해 강건성을 향상시킬 수 있는지 조사하는 것.

제안 방법

• 파이프라인은 느슨한 경계 박스와 인스턴스 마스크를 사용해 장면을 개별 물체 NeRF로 분해하여 배경에서 물체를 분리한다.
• 레이스는 세 영역을 통해 투사된다: 양성(물체), 부정성(배경, 밀도가 0으로 최적화됨), 마스크된 영역(장애물, 훈련에서 제외됨).
• 속도를 위해 Instant-NGP를 사용하여 NeRF 훈련을 수행하며, 깊이 기반 지표를 통해 기하학적 재구성 오차를 측정한다.
• 오doemetry 오차를 시뮬레이션하기 위해 이탈리아 분포를 사용해 변위와 회전에 노이즈를 도입한다.
• 마스크 정확도를 체계적으로 평가하기 위해 지표값(IoU)을 지정된 방식으로 감소시켜 마스크 노이즈를 생성한다.
• 카메라 외부 파ram터는 훈련 중 고정하거나 최적화하여 그 영향을 평가한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 카메라 자세와 인스턴스 마스크를 가진 실제 데이터에서 훈련된 물체 NeRF는 어느 정도 정확한가?
• RQ2 노이즈가 있는 데이터 조건에서 깊이 감독이 재구성 품질을 얼마나 향상시키는가?
• RQ3 NeRF 훈련은 카메라 자세 오류에 얼마나 민감한가? 외부 파aram터 최적화로 이에 대비할 수 있는가?
• RQ4 마스크와 자세가 노이즈가 있을 때, 훈련 이미지 수가 재구성 품질에 어떤 영향을 미치는가?
• RQ5 3D로 일관되지 않은 데이터, 예를 들어 여러 시점에서 정렬이 어긋난 인스턴스 마스크에 대해 NeRF는 어떻게 강건성을 확보할 수 있는가?

주요 결과

• 지상 진실 데이터와 깊이 감독을 사용할 경우 물체 NeRF는 1cm 이내의 재구성 정확도를 달성한다(98% IoU 기준 0.5cm 이내).
• 카메라 외부 파ram터를 훈련 중 최적화할 경우, 이동 노이즈는 최대 2cm까지, 회전 오차는 최대 3도까지 수용 가능하다.
• 깊이 감독은 훈련 이미지 수를 늘리는 것보다 노이즈가 있는 인스턴스 마스크의 악영향을 더 효과적으로 줄인다.
• 카메라 외부 파ram터 최적화는 특히 깊이 감독과 조합했을 때 자세 노이즈에 대한 강건성을 크게 향상시킨다.
• 이deal 조건에서 파이프라인은 밀리미터 수준의 정확도(100% IoU 기준 4mm)를 달성하지만, 마스크 노이즈가 있을 경우 깊이 감독이 적용되지 않으면 성능이 급격히 떨어진다.
• 이 연구는 3D로 일관되지 않은 마스크에 대해 치명적인 민감도를 드러내며, 실제 로봇 응용 분야에서 더 강건한 훈련 절차가 필요함을 시사한다.