[논문 리뷰] BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown Objects

Bowen Wen, Jonathan Tremblay외 7명|arXiv (Cornell University)|2023. 03. 24.

Human Pose and Action Recognition인용 수 5

한 줄 요약

BundleSDF는 단일 RGBD 영상에서 알려지지 않은 강체 물체에 대한 6-자유도 동시 추적과 신경 기반 3D 재구성 기법을 실시간(10Hz)으로 구현하며, 첫 번째 프레임에서 2D 마스크만 필요로 한다. 동적 메모리 풀을 사용한 자세 그래프 최적화와 함께 신경 물체 필드를 공동 학습함으로써, 무늬가 없거나 반사성, 또는 심한 가림이 있는 물체에 대해서도 낮은 사전 가정 조건에서도 견고한 성능을 발휘한다.

ABSTRACT

We present a near real-time method for 6-DoF tracking of an unknown object from a monocular RGBD video sequence, while simultaneously performing neural 3D reconstruction of the object. Our method works for arbitrary rigid objects, even when visual texture is largely absent. The object is assumed to be segmented in the first frame only. No additional information is required, and no assumption is made about the interaction agent. Key to our method is a Neural Object Field that is learned concurrently with a pose graph optimization process in order to robustly accumulate information into a consistent 3D representation capturing both geometry and appearance. A dynamic pool of posed memory frames is automatically maintained to facilitate communication between these threads. Our approach handles challenging sequences with large pose changes, partial and full occlusion, untextured surfaces, and specular highlights. We show results on HO3D, YCBInEOAT, and BEHAVE datasets, demonstrating that our method significantly outperforms existing approaches. Project page: https://bundlesdf.github.io

연구 동기 및 목표

• 기존 3D 모델이나 카테고리 수준의 지도 없이도 임의의 알려지지 않은 강체 물체에 대해 6-자유도 물체 추적 및 3D 재구성 문제를 해결한다.
• 이전 방법들이 무늬 있는 CAD 모델, 카테고리 수준의 사전 학습, 또는 알려진 카메라 자세를 요구하는 한계를 극복한다.
• 심한 가림, 표면이 무늬가 없거나 반사성이 강한 경우, 큰 자세 변화 상황에서도 견고한 성능을 발휘하도록 한다.
• 최소한의 초기화 조건으로 실시간, 온라인 방식으로 정확한 추적과 고해상도 3D 재구성을 동시에 달성한다.
• 신경 재구성과 자세 최적화를 통합한 공동 설계 프레임워크를 개발하여 추적 드리프트를 감소시키고 일관성을 향상시킨다.

제안 방법

• 신경 물체 필드를 활용하여 신경 렲영을 사용한 서피스 거리 함수(SDF)를 통해 물체의 3D 형상과 외관을 암묵적으로 표현한다.
• 포즈 그래프 최적화와 신경 재구성 과정 간의 이중 방향 통신을 가능하게 하기 위해, 포즈가 부여된 프레임의 동적 메모리 풀을 통합한다.
• 소음이 있는 세그멘테이션과 상호작용 중 외부 가림으로 인한 불확실한 자유 공간을 모델링하기 위해 하이브리드 SDF 표현을 사용한다.
• 과거에 추적된 자세를 동적으로 보정함으로써 다중 시점 일관성을 유지하고 드리프트를 줄이는 온라인 포즈 그래프 최적화를 수행한다.
• 실시간으로 추적과 재구성을 공동 학습하는 공학 설계 아키텍처를 적용하며, 신경 필드가 자세 추정에 기하학적 감독을 제공한다.
• 오직 과거 관측 자료만을 사용하는 인과 추론 전략을 적용하여 실시간 배포를 가능하게 한다.

Figure 2 : Framework overview. First, features are matched between consecutive segmented images, to obtain a coarse pose estimate (Sec. 3.1 ). Some of these posed frames are stored in a memory pool, to be used and refined later (Sec. 3.2 ). A pose graph is dynamically created from a subset of the me

실험 결과

연구 질문

• RQ1 신경 기반 3D 재구성 시스템은 사전에 존재하는 3D 모델이나 카테고리 수준의 사전 지식 없이도 알려지지 않은 강체 물체의 정확한 6-자유도 추적을 달성할 수 있는가?
• RQ2 큰 운동, 가림, 낮은 무늬 표면이 있는 단일 RGBD 영상에서 추적 드리프트를 효과적으로 완화할 수 있는가?
• RQ3 오차가 있는 세그멘테이션 마스크와 같은 노이즈가 많거나 불완전한 관측 자료에 대해 신경 암묵 표현이 얼마나 높은 내성적 저항력을 발휘할 수 있는가?
• RQ4 포즈 그래프와 신경 필드 학습의 공동 최적화 프레임워크가 추적 정확도와 재구성 품질 측면에서 분리 또는 단일 단계 접근 방식을 능가할 수 있는가?
• RQ5 이 방법은 반사나 부분적 가림과 같은 어려운 시각 조건, 다양한 물체 카테고리, 상호작용 에이전트에 대해 얼마나 잘 일반화되는가?

주요 결과

• BundleSDF는 HO3D, YCBInEOAT, BEHAVE 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, BEHAVE 데이터셋에서 평균 ADD-S 점수 83.63%를 기록하여 이전 방법들을 크게 앞서 간다.
• BEHAVE 데이터셋에서 BundleSDF는 평균 CD(체이밍 거리) 4.66cm를 기록하여 이어지는 최고 성능 방법(19.27cm)보다 훨씬 낮아, 뛰어난 3D 재구성 품질을 입증한다.
• 질적 결과를 통해 심한 가림 상황에서도 정확한 추적을 유지함을 입증하였으며, 예를 들어 'Date03_Sub05_chairblack_hand.3'에서 물체가 완전히 가려진 경우에도 정확한 추적 성능 유지를 확인하였다.
• 노이즈가 많은 세그멘테이션 마스크 상황에서도 BundleSDF는 정확한 추적과 재구성을 유지하며, 잘못된 양성/음성 결과에 대한 저항력을 보여주는 시각화 자료로 검증되었다.
• 빠른 운동 또는 운동 왜곡 상황에서 종종 실제 값보다 더 정확한 자세 추정을 제공함으로써 높은 추적 정밀도를 보였다.
• 하이브리드 SDF 표현은 가림과 세그멘테이션 오류로 인한 자유 공간의 불확실성을 효과적으로 처리하여 안정적이고 일관된 3D 재구성에 기여하였다.

Figure 3 : Left: Octree-voxel representation for efficient ray tracing, using the predicted binary mask from the video segmentation network (Sec. 3.1 ), which contains errors. Rays can land inside the mask (shown as red) or outside (yellow). Right: 2D top-down illustration of the neural volume and p