[논문 리뷰] Pedestrian Trajectory Prediction using Context-Augmented Transformer Networks

Khaled Saleh|arXiv (Cornell University)|2020. 12. 03.

Autonomous Vehicle Technology and Safety참고 문헌 20인용 수 5

한 줄 요약

이 논문은 보행자 궤적 예측을 위한 컨텍스트 증강 트랜스포머 네트워크를 제안하며, 과거 궤적, 에이전트 간 상호작용, 환경 의미 정보를 통합하여 정확도를 향상시킨다. 이는 실세계 데이터셋에서 단기 및 장기 예측 수평 모두에서 이전 방법들을 능가한다.

ABSTRACT

Forecasting the trajectory of pedestrians in shared urban traffic environments is still considered one of the challenging problems facing the development of autonomous vehicles (AVs). In the literature, this problem is often tackled using recurrent neural networks (RNNs). Despite the powerful capabilities of RNNs in capturing the temporal dependency in the pedestrians' motion trajectories, they were argued to be challenged when dealing with longer sequential data. Thus, in this work, we are introducing a framework based on the transformer networks that were shown recently to be more efficient and outperformed RNNs in many sequential-based tasks. We relied on a fusion of the past positional information, agent interactions information and scene physical semantics information as an input to our framework in order to provide a robust trajectory prediction of pedestrians. We have evaluated our framework on two real-life datasets of pedestrians in shared urban traffic environments and it has outperformed the compared baseline approaches in both short-term and long-term prediction horizons.

연구 동기 및 목표

• 자율주행차의 안전성을 위해 복잡한 도시 교통 환경에서 정확한 보행자 궤적 예측 문제를 해결한다.
• 보행자 운동의 장기 순차적 의존성을 모델링하는 데에 한계가 있는 순환 신경망(RNNs)의 한계를 극복한다.
• 과거 궤적을 초월한 맥락 정보, 즉 에이전트 상호작용과 환경 의미 정보를 통합하여 예측의 강인성을 향상시킨다.
• 다양한 맥락 입력을 효과적으로 융합하는 트랜스포머 기반 아키텍처를 개발한다.
• 단기 및 장기 궤적 예측 모두에서 최신 기준 데이터셋에서 최고의 성능을 달성한다.

제안 방법

• RNN보다 보행자 궤적의 순차적 의존성을 더 효과적으로 모델링하기 위해 트랜스포머 기반 인코더-디코더 아키텍처를 사용한다.
• 세 가지 핵심 맥락 입력을 통합한다: 과거 보행자 위치, 인접한 에이전트와의 공간적 상호작용, 환경 의미 정보(예: 보도, 횡단보도 등).
• 입력 시퀀스에서 시간 순서와 공간 레이아웃 정보를 유지하기 위해 위치 인코딩을 사용한다.
• 다중 헤드 자기주의 메커니즘을 적용하여 장거리 의존성과 보행자 간의 동적 상호작용을 포착한다.
• 예측 헤드 이전에 후행 상호작용 또는 연결을 통해 다중 모odal 맥락 특징을 융합한다.
• 미래 궤적 점들에 대한 예측 오차를 최소화하기 위해 시퀀스-투-시퀀스 손실 함수를 사용해 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델이 단기 및 장기 수평 모두에서 RNN 기반 모델보다 우월한가?
• RQ2 에이전트 상호작용과 환경 의미 정보를 통합할 경우, 궤적 전용 모델 대비 예측 정확도가 얼마나 향상되는가?
• RQ3 복잡한 동적 특성을 지닌 실세계 도시 교통 환경에서 제안된 맥락 증강 모델의 강인성은 어떠한가?
• RQ4 다양한 맥락 모odal의 융합이 더 신뢰성 있고 다양한 궤적 예측을 이끌어내는가?
• RQ5 모델은 다양한 도시 환경과 보행자 행동에 일반화 가능한가?

주요 결과

• 제안된 모델은 두 개의 실세계 보행자 궤적 데이터셋에서 베이스라인 RNN 기반 및 어텐션 기반 모델을 모두 능가했다.
• 환경 의미 정보와 에이전트 상호작용 정보의 통합이 특히 장기 예측에서 예측 정확도를 크게 향상시켰다.
• 단기 예측(예: 5–10초) 및 장기 예측(예: 15–20초) 수평 모두에서 최신 기준 성능을 달성했다.
• 어텐션 메커니즘이 효과적으로 장거리 의존성과 보행자 간의 동적 상호작용을 포착하여 더 정확한 궤적 예측을 이끌었다.
• 맥락 증강 설계 덕분에 고밀도 보행자 및 장애물이 있는 복잡한 도시 환경에서도 더 강인한 예측이 가능했다.
• 정량적 결과는 이전 방법 대비 최종 이격 오차(FDE)와 평균 이격 오차(ADE)가 유의미하게 감소한 것으로 나타났다.