[논문 리뷰] Intention-aware Residual Bidirectional LSTM for Long-term Pedestrian Trajectory Prediction.

Zhe Huang, Aamir Hasan외 1명|arXiv (Cornell University)|2020. 06. 30.

Autonomous Vehicle Technology and Safety참고 문헌 36인용 수 5

한 줄 요약

이 논문은 장기적인 보행자 궤적 예측을 위한 새로운 의도 인식 잔차 양방향 LSTM(ReBiL) 프레임워크를 제안한다. 이 프레임워크는 물리적으로 타당한 예측을 향상시키기 위해 명목상 선형 예측에 대한 잔차 오프셋을 학습한다. 유전 알고리즘과 입자 필터링을 영감으로 삼은 가변적 의도 필터를 통합함으로써, 비정상적인 의도 변화 상황에서도 강건한 성능을 달성하며, 공개 데이터셋에서 기준 모델들을 능가한다.

ABSTRACT

Trajectory prediction is one of the key capabilities for robots to safely navigate and interact with pedestrians. Critical insights from human intention and behavioral patterns need to be effectively integrated into long-term pedestrian behavior forecasting. We present a novel intention-aware motion prediction framework, which consists of a Residual Bidirectional LSTM (ReBiL) and a mutable intention filter. Instead of learning step-wise displacement, we propose learning offset to warp a nominal intention-aware linear prediction, giving residual learning a physical intuition. Our intention filter is inspired by genetic algorithms and particle filtering, where particles mutate intention hypotheses throughout the pedestrian motion with ReBiL as the motion model. Through experiments on a publicly available dataset, we show that our method outperforms baseline approaches and the robust performance of our method is demonstrated under abnormal intention-changing scenarios.

연구 동기 및 목표

• 운동 모델링에 인간의 의도와 행동 패턴을 통합하여 장기적인 보행자 궤적 예측을 향상시키기.
• 비정상적이거나 급격한 의도 변화 상황에서도 예측의 강건성을 확보하기.
• 직접 이동 거리를 학습하는 대신 명목상 선형 예측을 왜곡하는 물리적으로 직관적인 잔차 학습 프레임워크 제공.
• 입자 필터링과 유전 알고리즘 원리를 활용해 시간에 따라 진화하는 가설을 유지하는 동적 의도 필터링 메커니즘 개발.

제안 방법

• 프레임워크는 양방향 컨텍스트를 활용하여 시간적 이해를 향상시키기 위해 잔차 양방향 LSTM(ReBiL)을 사용하여 보행자 운동을 모델링한다.
• 절대 이동 거리를 예측하는 대신, 의도 인식 선형 예측에 대한 잔차 오프셋을 학습함으로써 물리적 해석 가능성 향상.
• 가변적 의도 필터는 각각 보행자 의도의 잠재적 가능성을 나타내는 다수의 입자 가설을 유지하며, ReBiL을 운동 모델로 사용해 시간에 따라 진화시킨다.
• 의도 입자는 유전 알고리즘과 입자 필터링의 영감을 받은 변이와 선택 메커니즘을 통해 업데이트되어 의도 변화에 적응 가능한 반응을 보인다.
• 관측된 운동에 기반해 의도 입자를 동적으로 재가중하고 업데이트함으로써 예상치 못한 행동에 대한 강건성 향상.
• 최종 예측은 ReBiL 모델을 통해 의도 필터링된 입자들의 가중 출력을 집계함으로써 생성된다.

실험 결과

연구 질문

• RQ1 인간의 의도와 행동 패턴은 장기적인 궤적 예측 모델에 어떻게 효과적으로 통합될 수 있는가?
• RQ2 명목상 선형 예측에 대한 잔차 학습 방식이 물리적 타당성과 예측 정확도를 향상시킬 수 있는가?
• RQ3 변이 메커니즘을 갖춘 입자 기반 의도 필터링은 비정상적인 의도 변화 상황에서 강건성을 어떻게 향상시키는가?
• RQ4 ReBiL 프레임워크는 표준 RNN 기반 기준 모델 대비 장기 궤적 예측에서 얼마나 뛰어난 성능을 보이는가?
• RQ5 양방향 LSTM과 적응형 의도 필터링의 융합은 다양한 보행자 행동 패턴에 대한 일반화 능력을 어떻게 향상시키는가?

주요 결과

• 제안된 ReBiL 프레임워크는 공개된 보행자 궤적 예측 데이터셋에서 기준 모델들을 능가한다.
• 기준 모델이 실패하거나 심하게 성능이 저하되는 비정상적인 의도 변화 상황에서도 모델이 강건한 성능을 보인다.
• 직접 이동 거리 학습보다 명목상 선형 예측에 대한 잔차 학습 방식이 물리적으로 더 직관적이며 예측 정확도가 향상된다.
• 가변적 의도 필터는 보행자 의도의 변화를 효과적으로 포착하고 적응하여 모델의 내성 강도를 향상시킨다.
• LSTM에 양방향 컨텍스트를 통합함으로써 복잡한 운동 패턴에서 장기적인 시간적 추론 능력이 향상된다.
• 입자 기반 의도 필터링 메커니즘은 동적 가설 업데이트를 가능하게 하여 모델의 적응성과 정확도에 기여한다.