[논문 리뷰] 3DOF Pedestrian Trajectory Prediction Learned from Long-Term Autonomous Mobile Robot Deployment Data

Li Sun, Zhi Yan외 3명|arXiv (Cornell University)|2017. 09. 30.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 논문은 장기적인 자율 로봇 운영 데이터를 활용하여 범위 측정 센서를 사용해 2D 위치와 방향을 예측하는 3DOF 보행자 궤적 예측 모델인 T-Pose-LSTM을 제안한다. 순차적-순차적 LSTM 인코더-디코더에 시간적 맥락(날짜/시간)을 통합함으로써 장기 예측에서 최신 기술 성능을 달성하였으며, 15,000개의 궤적을 포함하는 3개월 분량의 요양원 데이터셋에서 2D 기준선 대비 평균 이격 오차를 10–20% 감소시켰다.

ABSTRACT

This paper presents a novel 3DOF pedestrian trajectory prediction approach for autonomous mobile service robots. While most previously reported methods are based on learning of 2D positions in monocular camera images, our approach uses range-finder sensors to learn and predict 3DOF pose trajectories (i.e. 2D position plus 1D rotation within the world coordinate system). Our approach, T-Pose-LSTM (Temporal 3DOF-Pose Long-Short-Term Memory), is trained using long-term data from real-world robot deployments and aims to learn context-dependent (environment- and time-specific) human activities. Our approach incorporates long-term temporal information (i.e. date and time) with short-term pose observations as input. A sequence-to-sequence LSTM encoder-decoder is trained, which encodes observations into LSTM and then decodes as predictions. For deployment, it can perform on-the-fly prediction in real-time. Instead of using manually annotated data, we rely on a robust human detection, tracking and SLAM system, providing us with examples in a global coordinate system. We validate the approach using more than 15K pedestrian trajectories recorded in a care home environment over a period of three months. The experiment shows that the proposed T-Pose-LSTM model advances the state-of-the-art 2D-based method for human trajectory prediction in long-term mobile robot deployments.

연구 동기 및 목표

• 기존 2D 궤적 예측 방법이 방향성과 장기적인 시공간 맥락을 결여하고 있는 한계를 해결한다.
• 장기적인 로봇 운영에서의 맥락 기반 데이터를 활용해 실제 서비스 로봇 배치 환경에서의 장기 보행자 궤적 예측을 향상시킨다.
• 단순히 2D 위치가 아닌 3DOF 자세(x, y, 요)를 예측하는 데이터 기반 모델을 개발하여 자율 로봇의 현실성과 유용성을 높인다.
• 수동으로 레이블링된 데이터셋에 의존하지 않고, 장기적인 로봇 운영에서 수집한 실제의 비라벨링 센서 데이터를 활용한다.
• 향후 연구를 지원하기 위해 요양원 환경에서 3D LiDAR를 통해 수집한 새로운 3D 보행자 궤적 데이터셋을 공개한다.

제안 방법

• 3DOF 자세 관측치(x, y, 요)와 시간대/일자를 입력으로 사용하는 순차적-순차적 LSTM 인코더-디코더 아키텍처인 T-Pose-LSTM를 제안한다.
• 장기간 동안의 환경 특화 인간 행동을 모델링하기 위해 시간적 맥락(날짜 및 시간)을 추가 입력 특성으로 통합한다.
• 더 긴 관측 간격(1Hz)에는 단일층 LSTM을, 더 짧은 간격(2.5Hz)에는 삼중층 공유 LSTM을 사용하여 시퀀스 길이와 모델 용량 간의 균형을 맞춘다.
• 모든 입력 차원(x, y, 요, 날짜, 시간)을 표준 정규분포 N(0,1)로 정규화하여 사전처리를 수행한다.
• 2D 및 3D LiDAR 센서를 탑재한 자율 이동 로봇에서 수집한 실제 데이터를 사용해 모델을 엔드 투 엔드로 훈련시킨다. 수동 레이블링을 회피한다.
• 이미지 기반 레이블링에 의존하지 않고도 글로벌 좌표 궤적을 추출하기 위해 강력한 인간 탐지, 추적 및 SLAM 시스템을 활용한다.

실험 결과

연구 질문

• RQ1 장기적인 시간적 맥락(날짜 및 시간)을 딥 러닝 모델에 통합함으로써 장기간 예측 기간 동안 3DOF 보행자 궤적 예측 정확도를 향상시킬 수 있는가?
• RQ2 예측 시 3DOF 자세(위치 및 방향)를 고려하는 것과 2D 위치만 예측하는 것 간의 장기 정확도 및 내성에 대해 어떤 차이가 있는가?
• RQ3 실제 비라벨링 로봇 운영 데이터를 기반으로 훈련된 데이터 기반 LSTM 모델이 기존 2D 궤적 예측 기준선을 얼마나 뛰어넘는가?
• RQ4 정적 보행자가 다수 존재하는 데이터셋에서, 자세 추정 정확도가 떨어지는 상황에서 모델의 성능은 어떠한가?
• RQ5 장기적인 운영에서의 시공간 맥락 통합이 5초 이상의 예측에서도 더 신뢰할 수 있는 예측을 가능하게 하는가?

주요 결과

• T-Pose-LSTM는 STRANDS 데이터셋에서 모든 모델 중 가장 낮은 평균 이격 오차(ADE)를 기록하였으며, 5초 이상의 예측에서 뚜렷한 성능 우위를 보였다.
• 5초 이상의 예측에서 T-Pose-LSTM는 Pose-LSTM 및 기준선 모델보다 뚜렷한 향상을 보였으며, 시간 정보 통합의 유용성을 입증하였다.
• L-CAS 데이터셋에서 Pose-LSTM는 Social-LSTM 기준선 대비 약 10–20%의 ADE 감소를 기록하여, 위치 예측과 함께 자세 예측의 가치를 입증하였다.
• L-CAS 데이터셋에서 Pose-LSTM의 평균 오차 각도 오차(AVE)는 0.95m였고, 기준선인 Social-LSTM의 1.19m보다 향상된 정확도를 보였다.
• L-CAS 데이터셋에서 Pose-LSTM의 AEDE(Average Eulerian angle Difference error)는 35도였으며, STRANDS보다 높은 수준이었는데, 이는 정적 개인의 자세 추정 정확도가 떨어지기 때문이었다.
• 더 긴 관측 시퀀스에서 예측 정확도가 향상되고 짧은 시퀀스에서는 정확도가 떨어지는 것으로 나타나, 충분한 시간적 맥락이 신뢰할 수 있는 LSTM 기반 예측에 필수적임을 확인하였다.