[논문 리뷰] Joint 3D Reconstruction of a Static Scene and Moving Objects

Sergio Caccamo, Esra Ataer-Cansızoğlu외 1명|arXiv (Cornell University)|2018. 02. 13.

Robotics and Sensor-Based Localization참고 문헌 24인용 수 3

한 줄 요약

이 논문은 정적 환경과 강체로 움직이는 물체를 동시에 재구성하는 실시간 SLAM 시스템을 제안한다. RGB-D 데이터를 이용해 정적 영역과 동적 영역를 별도로 독립된 지도로 유지함으로써, 전역적으로 정적 구조물이 지배하는 환경이나 높은 물체 자세 변화가 있는 상황에서도 정적 또는 동적 영역로의 특징 분류를 안정적으로 수행한다. 다중 그룹 레지지스트레이션 기반의 방법—전체 프레임 및 세그먼트 기반 RANSAC 레지지스트레이션을 융합함—을 통해 실시간 3D 물체 모델 생성이 가능하며, 이는 움직임 패tern에 대한 사전 가정이 필요로 하지 않는다.

ABSTRACT

We present a technique for simultaneous 3D reconstruction of static regions and rigidly moving objects in a scene. An RGB-D frame is represented as a collection of features, which are points and planes. We classify the features into static and dynamic regions and grow separate maps, static and object maps, for each of them. To robustly classify the features in each frame, we fuse multiple RANSAC-based registration results obtained by registering different groups of the features to different maps, including (1) all the features to the static map, (2) all the features to each object map, and (3) subsets of the features, each forming a segment, to each object map. This multi-group registration approach is designed to overcome the following challenges: scenes can be dominated by static regions, making object tracking more difficult; and moving object might have larger pose variation between frames compared to the static regions. We show qualitative results from indoor scenes with objects in various shapes. The technique enables on-the-fly object model generation to be used for robotic manipulation.

연구 동기 및 목표

• 동적 환경에서 정적 환경과 강체로 움직이는 물체를 동시에 3D로 재구성하는 문제에 대응한다.
• 정확한 카메라 위치 추정을 위해서는 물체의 운동 정보가 필요하고, 반대로 물체의 운동을 알고자 하면 카메라 위치 정보가 필요하기 때문에 발생하는 상호의존 문제(닭과 계🥚 문제)를 해결한다.
• 개별 스캐닝 또는 부드러운 운동을 요구하지 않고도, 장면 매핑 도중 실시간으로 3D 물체 모델을 생성할 수 있도록 한다.
• 정적 구조물이 지배하는 환경나 고도로 변하는 물체 자세가 존재하는 상황에서도 정적 영역와 동적 영역 간의 특징 분류를 안정적으로 유지한다.
• 지속적이고 이산적인 물체 운동 패턴(연속되지 않는 프레임에서 나타나는 물체 포함)을 모두 지원한다.

제안 방법

• 각 RGB-D 프레임을 3D 점, 2D 점, 3D 평면으로 표현하고, 기하 분석을 위해 세그먼트로 그룹화한다.
• 첫 번째 프레임을 이용해 정적 지도를 초기화하고, 정적 지도에 프레임을 레지지스트레이션한 후 잔차 비율이 높은 영역을 통해 움직이는 물체를 탐지한다.
• 다중 그룹 레지지스트레이션을 적용: 모든 특징과 다양한 특징 부분집합(세그먼트)을 정적 지도와 물체 지도에 각각 레지지스트레이션하여 안정성을 향상시킨다.
• 여러 RANSAC 기반 레지지스트레이션 결과를 융합하여, 일치하는 내측점의 일관성에 기반해 특징이 정적 또는 동적 영역에 속하는지 분류한다.
• 정적 영역와 동적 영역를 별도로 독립된 지도로 유지함으로써, 각각의 최적화와 안정적인 장기 추적을 가능하게 한다.
• 두 지도에 대해 비동기식 백업 조정(Bundle adjustment)을 수행하여 희소한 특징 표현을 이용해 3D 구조와 카메라 자세를 정밀하게 보정한다.

실험 결과

연구 질문

• RQ1 움직임 패턴에 대한 사전 지식이 없이도 SLAM 시스템이 정적 환경과 강체로 움직이는 물체를 동시에 재구성할 수 있는가?
• RQ2 지배적인 정적 구조물이 존재하는 상황에서 정적 영역와 동적 영역 간의 특징 분류를 안정적으로 수행할 수 있는 기하적 검증 전략은 무엇인가?
• RQ3 전용 스캐닝 단계 없이도 자율 탐색 도중 실시간으로 3D 물체 모델을 구축할 수 있는가?
• RQ4 다중 그룹 레지지스트레이션은 동적 환경에서 단일 레지지스트레이션 방법에 비해 어떻게 안정성을 향상시키는가?
• RQ5 동일한 프레임에 여러 개의 움직이는 물체가 존재할 경우 시스템의 한계는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 다중 그룹 레지지스트레이션 방법은 전체 프레임 기반과 세그먼트 기반 RANSAC 결과를 융합함으로써, 정적 영역가 지배하는 환경에서 특징 분류 정확도를 크게 향상시킨다.
• 시스템은 여러 키프레임에 걸쳐 부분적이고 가림을 입은 관측 자료로부터도 완전한 3D 물체 모델을 성공적으로 재구성한다(그림 6(D) 참조).
• 정적 지도는 시간이 지남에 따라 점진적으로 증가하는 반면, 물체 지도는 물체가 시야에 들어올 때만 확장됨을 확인하여, 효과적인 동적 영역 탐지가 이루어졌음을 입증한다(그림 7 참조).
• 이 방법은 부드럽거나 연속적인 운동을 가정하지 않고도 실시간으로 3D 물체 모델링을 가능하게 하며, 지속적 및 이산적 물체 출현 패턴을 모두 지원한다.
• 갑작스러운 물체 운동과 무문자 물체를 처리할 수는 있으나, 희소한 특징에 의존하기 때문에 저조도 환경에서는 성능 저하가 발생한다.
• 주요 한계는 한 프레임 내에서 여러 움직이는 물체를 구분하지 못해 단일 공유 물체 지도를 생성한다는 점으로, 정확한 재구성에 지장을 줄 수 있다.