[논문 리뷰] Detection and Tracking of General Movable Objects in Large 3D Maps

Nils Bore, Johan Ekekrantz외 2명|arXiv (Cornell University)|2017. 12. 22.

Robotics and Sensor-Based Localization참고 문헌 29인용 수 3

한 줄 요약

이 논문은 물체의 운동을 국소적 이동(칼만 필터로 모델링)과 희귀한 전역적 점프(확률적으로 모델링)로 분해하는 레오-블랙웰라이즈드 페티클 필터를 제안한다. 이는 간헐적인 관측에도 불구하고 시각적으로 유사하고 이동 가능한 물체를 대규모 3D 지ap에서 정확하게 다중 물체 추적할 수 있도록 한다. 본 방법은 확률적 모델링과 물체 사후분포에 대한 집중적 샘플링을 활용하여 기존 접근법보다 실세계 데이터에서 뛰어난 성능을 발휘한다.

ABSTRACT

This paper studies the problem of detection and tracking of general objects with long-term dynamics, observed by a mobile robot moving in a large environment. A key problem is that due to the environment scale, it can only observe a subset of the objects at any given time. Since some time passes between observations of objects in different places, the objects might be moved when the robot is not there. We propose a model for this movement in which the objects typically only move locally, but with some small probability they jump longer distances, through what we call global motion. For filtering, we decompose the posterior over local and global movements into two linked processes. The posterior over the global movements and measurement associations is sampled, while we track the local movement analytically using Kalman filters. This novel filter is evaluated on point cloud data gathered autonomously by a mobile robot over an extended period of time. We show that tracking jumping objects is feasible, and that the proposed probabilistic treatment outperforms previous methods when applied to real world data. The key to efficient probabilistic tracking in this scenario is focused sampling of the object posteriors.

연구 동기 및 목표

• 관측 시점에 일부 물체만 관측되는 대규모 3D 환경에서 다수의 시각적으로 유사한 이동 가능한 물체를 장기간 추적할 수 있도록 하는 것.
• 로봇의 관측 간격 동안 물체가 이동하는 문제, 특히 희귀한 장거리 점프를 다루는 것.
• 시각적 특징 기반 방법을 초월하여 공간적 동역학과 이동 확률을 모델링함으로써 추적 정확도를 향상시키는 것.
• 불완전한 관측 조건에서도 현실적인 위치 사후분포를 유지할 수 있는 확률적 프레임워크를 개발하는 것.

제안 방법

• 시스템은 국소적 이동(작은, 빈번한 조정)과 전역적 점프(희귀한 장거리 이동)의 조합으로 물체 운동을 모델링하며, 전역적 점프는 확률적 모델로 표현된다.
• 레오-블랙웰라이즈드 페티클 필터를 사용하여 전역적 이동과 측정 연관성의 사후분포를 샘플링하고, 국소적 이동은 칼만 필터를 이용해 해석적으로 추적한다.
• 객체 탐지는 3D 포인트 클라우드에서의 시간적 변화 탐지 이후, 딥러닝(예: CNN)을 이용한 인스턴스 세그멘테이션과 특징 추출을 통해 생성된다.
• 추적기는 시각적 특징(RGB 이미지에서 유래)과 공간 측정치(깊이 데이터에서 유래)를 통합하여 정확도를 향상시키며, 특히 작은 물체에 대해 강건성을 확보한다.
• 폐쇄 세계 가정을 적용하여 물체가 환경 내에 유지된다고 가정하고, 관측된 점프 빈도에 맞게 매개변수 조정(p_jump, p_meas 등)을 통해 적응성을 확보한다.
• 의자 또는 모니터와 같은 다양한 이동 패턴을 반영하기 위해 물체별 운동 모델 분산(Q_k^s)을 추정한다.

실험 결과

연구 질문

• RQ1 간헐적인 관측 조건에서도 대규모 3D 환경에서 시각적으로 유사한 다수의 물체를 장기간 정확하게 추적하는 방법은 무엇인가?
• RQ2 물체가 국소적 이동 또는 희귀한 장거리 점프를 할 수 있을 때, 물체 운동을 최적으로 모델링하는 방법은 무엇인가?
• RQ3 페티클 샘플링과 칼만 필터링을 융합한 하이브리드 필터링 접근법이 순수한 시각 기반 또는 표준 필터링 방법보다 추적 성능을 향상시킬 수 있는가?
• RQ4 점프 확률(p_jump)과 측정 확률(p_meas)과 같은 매개변수들이 실세계 시나리오에서 추적 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 추적기는 실세계 데이터에서 기존 방법보다 뚜렷하게 뛰어난 성능을 보이며, 특히 점프하는 물체와 시각적으로 유사한 대상의 추적에 유리하다.
• RGB와 깊이 특징을 융합함으로써 노이즈가 많은 깊이 데이터 조건에서도 강건한 추적 성능을 확보했으며, 머그와 같은 작은 물체의 탐지에 특히 기여했다.
• 실험 1에서는 실제 점프 빈도가 약 0.18인 상황에서 p_jump를 0.08로 설정했을 때 MOTA 점수가 가장 높았고, 실험 2에서는 실제 빈도가 약 0.05인 상황에서 p_jump를 0.04로 설정했을 때 최적의 성능를 기록하여, 매개변수 조정이 핵심임을 입증했다.
• 도표 1에서 보듯이 반복적인 관측 후에 보다 정교해진 신뢰도 분포를 반영한 파란薰색 영역이 시간에 따라 정확한 위치 사후분포를 유지함을 확인했다.
• 의자 과세그멘테이션과 같은 세그멘테이션 오류에도 불구하고, 순수한 세그멘테이션에 의존하지 않고 공간적 및 운동 모델링에 기반하여 추적 성능을 유지했다.
• 실험 1에서 데이터로부터 특징 공분산 R^f를 추정함으로써 성능 향상이 뚜렷하게 향상되었으며, 이는 적응적 조정이 성능 향상에 기여함을 시사한다.