[논문 리뷰] MID-Fusion: Octree-based Object-Level Multi-Instance Dynamic SLAM

Binbin Xu, Wenbin Li외 4명|arXiv (Cornell University)|2018. 12. 19.

Robotics and Sensor-Based Localization참고 문헌 22인용 수 14

한 줄 요약

이 논문은 RGB-D SLAM 시스템 중에서 오직 오드레인 기반 표현을 사용하여 개체 수준의 동적 볼륨 지도를 구축하는 최초의 시스템인 MID-Fusion을 제안한다. 다중 모odal 데이터(색상, 깊이, 의미 정보)를 개별 개체 모델에 통합함으로써 인스턴스 세그멘테이션, 불확실성 인식 추적, 확률적 융합를 통해 정교한 카메라 추적과 여러 움직이는 개체에 대한 기하학, 의미론, 운동의 지속적인 추정을 가능하게 하며, CPU에서 2–3 Hz로 높은 재구성 정확도를 달성한다.

ABSTRACT

We propose a new multi-instance dynamic RGB-D SLAM system using an object-level octree-based volumetric representation. It can provide robust camera tracking in dynamic environments and at the same time, continuously estimate geometric, semantic, and motion properties for arbitrary objects in the scene. For each incoming frame, we perform instance segmentation to detect objects and refine mask boundaries using geometric and motion information. Meanwhile, we estimate the pose of each existing moving object using an object-oriented tracking method and robustly track the camera pose against the static scene. Based on the estimated camera pose and object poses, we associate segmented masks with existing models and incrementally fuse corresponding colour, depth, semantic, and foreground object probabilities into each object model. In contrast to existing approaches, our system is the first system to generate an object-level dynamic volumetric map from a single RGB-D camera, which can be used directly for robotic tasks. Our method can run at 2-3 Hz on a CPU, excluding the instance segmentation part. We demonstrate its effectiveness by quantitatively and qualitatively testing it on both synthetic and real-world sequences.

연구 동기 및 목표

• 움직이는 개체가 카메라 자세 추정을 손상시키는 동적 실내 환경에서 정적 SLAM의 한계를 해결하기 위해.
• 정확한 카메라 추적을 유지하면서도 움직이는 개체를 별개의 볼륨 엔티티로 모델링할 수 있는 다중 인스턴스 동적 SLAM 시스템을 개발하기 위해.
• 단일 RGB-D 카메라를 통해 기하학적, 의미론적, 운동적 성질을 갖춘 고해상도 개체 수준 재구성을 실현하기 위해.
• 개별 개체에 대해 오드레인 기반 볼륨 구조를 활용하여 메모리 효율성과 지도 사용성 향상을 통해 로봇 공학에 기여하기 위해.
• 확률적 융합를 통해 의미 예측과 프론트엔드 확률을 개체 모델에 통합하고 개선하기 위해.

제안 방법

• 실시간으로 기하학적 및 운동적 신호를 활용한 인스턴스 세그멘테이션을 통해 개체 마스크를 탐지하고 정밀화한다.
• 측정 불확실성을 가중치로 사용하여 개체 운동에 재파rametrized된 객체 중심 추적 방법을 구현한다.
• 카메라 자세는 정적 환경 모델에 대해 추정되며, 개체 자세는 별도로 추적되어 드리프트를 방지한다.
• 감지된 각 개체는 색상, 깊이, 의미 레이블, 프론트엔드 확률을 점진적으로 융합하는 오드레인 기반 볼륨 모델을 할당받는다.
• 확률적 융합은 의미 분포와 개체 가능성 확률을 오드레인 구조에 통합하여 불확실성 인식 모델 업데이트를 가능하게 한다.
• 각 개체에 대해 별도로 유지되며 상호 간 충돌이 없는 볼륨 지도를 유지함으로써 다중 인스턴스 맵핑의 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 단일 RGB-D 카메라가 동적 실내 시나리오에서 정확한 카메라 추적을 지원하는 지속 가능한 개체 수준의 동적 볼륨 지도를 생성할 수 있는가?
• RQ2 기하학적, 광학적, 의미론적 정보를 효과적으로 융합하여 인스턴스 세그멘테이션과 개체 모델 품질을 향상시킬 수 있는가?
• RQ3 불확실성 가중치를 적용한 개체 중심 추적은 대규모 개체 운동을 다룰 때 가상 카메라 추적 또는 표준 추적 방식보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 오드레인 기반 표현 방식은 동적 SLAM 환경에서 고해상도 재구성 정밀도를 유지하면서도 메모리 효율성을 확보할 수 있는가?
• RQ5 의미론적 정보와 프론트엔드 확률의 통합은 개체 모델링의 강건성과 정확도를 어떻게 향상시키는가?

주요 결과

• 지상 진실 세그멘테이션을 사용할 경우 소파의 평균 재구성 오차는 0.46 cm (±0.59)이며, 의자에 대해서는 0.92 cm (±1.74)로 매우 높은 기하학적 정확도를 보였다.
• 자체 세그멘테이션 파이프라인을 사용할 경우 재구성 오차가 약간 증가하나(소파 기준 0.46 cm로 유지됨), 세그멘테이션 오차에 대해 강건함을 입증하였다.
• 제안된 객체 중심 추적 방법은 가상 카메라 추적 대비 재구성 오차를 38% 감소시켰다(소파 기준 0.74 cm 대비 0.46 cm), 특히 큰 회전 상황에서 뚜렷한 성능 향상을 보였다.
• CPU에서 2–3 Hz로 실행되며, 평균 프레임 처리 시간은 400 ms이며, 동시에 보이는 개체와 움직이는 개체의 수에 따라 효율적으로 확장된다.
• 오드레인 기반 구조는 고해상도 재구성을 유지하면서도 효율적인 메모리 사용을 가능하게 하여, Co-Fusion과 같은 서페이스 엔티티 기반 시스템보다 세부 사항과 개체 분리 성능에서 뛰어나다.
• 정성적 결과는 동시에 6개 이상의 움직이는 개체를 성공적으로 재구성하였으며, 개체 모델 간 충돌 없이, 최신의 서페이스 엔티티 기반 방법보다 뛰어난 세부 사항을 확보하였다.