[논문 리뷰] Multiple Object Detection, Tracking and Long-Term Dynamics Learning in Large 3D Maps

Nils Bore, Patric Jensfelt외 1명|arXiv (Cornell University)|2018. 01. 28.

Robotics and Sensor-Based Localization참고 문헌 29인용 수 8

한 줄 요약

이 논문은 이동 가능한 다수의 물체를 추적하고 대규모 3D 환경에서의 장기적 역학을 학습하기 위한 확률적 프레임워크를 제시한다. 물체의 출현/소멸을 위해 게이블스 샘플링을 통한 레이오-블랙웰라이즈드 페티클 필터의 확장과 함께, 비지도 EM 기반의 파rameter 학습을 사용함으로써, 시스템은 물체의 위치, 수량, 이동 모델을 자동으로 추론한다. 이는 이전 연구에 비해 모델링 편향을 크게 감소시킨다.

ABSTRACT

In this work, we present a method for tracking and learning the dynamics of all objects in a large scale robot environment. A mobile robot patrols the environment and visits the different locations one by one. Movable objects are discovered by change detection, and tracked throughout the robot deployment. For tracking, we extend the Rao-Blackwellized particle filter of previous work with birth and death processes, enabling the method to handle an arbitrary number of objects. Target births and associations are sampled using Gibbs sampling. The parameters of the system are then learnt using the Expectation Maximization algorithm in an unsupervised fashion. The system therefore enables learning of the dynamics of one particular environment, and of its objects. The algorithm is evaluated on data collected autonomously by a mobile robot in an office environment during a real-world deployment. We show that the algorithm automatically identifies and tracks the moving objects within 3D maps and infers plausible dynamics models, significantly decreasing the modeling bias of our previous work. The proposed method represents an improvement over previous methods for environment dynamics learning as it allows for learning of fine grained processes.

연구 동기 및 목표

• 관찰되지 않을 때 물체가 이동하는 대규모 실내 환경에서 동적인 물체를 추적하고 모델링하는 데 도전한다.
• 수동적인 파rameter 조정이 필요하고 가변적인 수의 물체를 처리할 수 없는 이전의 고정된 물체 추적 시스템의 한계를 극복한다.
• 장기적인 로봇 배치에서부터 물체 역학, 즉 이동 패턴과 점프 확률을 비지도로 학습한다.
• 과도하게 추정된 불확실성에 의존하는 것 대신 실제 데이터에서 세밀한 역학을 학습함으로써 모델링 편향을 감소시킨다.
• 일반적인 물체 배치와 이격 현상을 이해함으로써 자율적인 청소 및 물체 재배치 작업을 지원하는 시스템을 개발한다.

제안 방법

• 환경 내 이산적인 위치의 순차적 3D 지도를 수집하기 위해 RGBD 카메라를 장착한 모바일 로봇을 사용한다.
• 지역 3D 지도에 변화 감지를 적용하여 새로운 또는 이동한 물체를 식별하고, 물체 존재 및 위치의 사후 확률을 형성한다.
• 임의의 수의 물체를 동적으로 처리하기 위해 물체 출현 및 소멸 프로세스를 추가한 레이오-블랙웰라이즈드 페티클 필터를 확장한다.
• 시간 단계 간의 물체 연관성, 출현, 소멸을 함께 추론하기 위해 게이블스 샘플링을 사용한다.
• 기대 최대화(EM) 알고리즘을 적용하여 점프 확률 $p_{\text{jump}}$ 및 프로세스 노이즈 분산 $\sigma_q^2$와 같은 시스템 파rameter를 비지도 방식으로 학습한다.
• 장소에 따라 달라지는 점프 확률를 가진 마르코프 과정을 사용하여 물체 역학을 모델링함으로써 일반적인 이동 패턴을 추론할 수 있다.

실험 결과

연구 질문

• RQ1 모바일 로봇은 사전 지식 없이 대규모 3D 환경에서 다수의 이동 가능한 물체를 자동으로 감지하고 추적하며 그 역학을 학습할 수 있는가?
• RQ2 로봇이 존재하지 않을 때 발생하는 물체 이동을 고려하면서, 알려지지 않은 가변적인 수의 물체를 추적하는 시스템은 어떻게 처리할 수 있는가?
• RQ3 비지도 EM 기반 학습은 수동 조정된 파rameter에 비해 물체 역학 모델의 정확도를 어느 정도 향상시킬 수 있는가?
• RQ4 실제 로봇 배치 데이터로부터 유의미한 이동 모델(예: 점프 확률, 공간 분산)을 추론할 수 있는가?
• RQ5 불연속적인 점프와 물체의 출현/소멸 프로세스를 포함함으로써 실생활의 동적 환경에서 추적 성능은 어떻게 향상되는가?

주요 결과

• 시스템은 여러 번의 로봇 방문 동안 변동 가능한 수의 물체를 성공적으로 추적하며, 게이블스 샘플링을 통해 물체의 출현과 소멸을 처리한다.
• EM 알고리즘이 안정적인 파rameter 추정치로 수렴하며 반복 과정 동안 기대 가능도가 증가함을 보여, 효과적인 비지도 학습임을 입증한다.
• 이전 연구에서 과도하게 추정된 불확실성에 의존한 것에 비해, 학습된 역학 모델은 모델링 편향을 크게 감소시킨다.
• 시스템은 점프 확률 $p_{\text{jump}} = 0.036$ 와 공간 프로세스 분산 $\sigma_q^2 = 0.137$ 를 추론하며, 이는 관측된 물체 이동 패턴과 일치한다.
• 일반적인 물체 행동, 예를 들어 사무실에서 부엌으로 자주 이동하는 것과 같은 패턴을 학습함으로써 환경 표현을 향상시킬 수 있다.
• 시간에 따라 변하는 파rameter 스케일링이나 강한 사전 확률 없이도 프레임워크가 강건하며, 실제 데이터에서 수렴함을 보였다.