[논문 리뷰] From Goals, Waypoints & Paths To Long Term Human Trajectory Forecasting

Karttikeya Mangalam, Yang An외 2명|arXiv (Cornell University)|2020. 12. 02.

Autonomous Vehicle Technology and Safety참고 문헌 32인용 수 37

한 줄 요약

이 논문은 다중모드 불확실성을 지식적(장기적 목표)과 고유적(중간 경로 및 경로) 성분으로 분해하는 Y-net을 제안한다. 목표 분포와 경로 분포를 계층적으로 모델링함으로써 Y-net은 단기(스탠퍼드 드론, ETH/UCY) 및 새로운 장기(최대 60초) 예측 벤치마크에서 최신 기술(SOTA) 성능을 달성하며, 장기 예측 설정에서 FDE와 ADE 모두 51.9%, 77.1% 향상되었다.

ABSTRACT

Human trajectory forecasting is an inherently multi-modal problem. Uncertainty in future trajectories stems from two sources: (a) sources that are known to the agent but unknown to the model, such as long term goals and (b)sources that are unknown to both the agent & the model, such as intent of other agents & irreducible randomness indecisions. We propose to factorize this uncertainty into its epistemic & aleatoric sources. We model the epistemic un-certainty through multimodality in long term goals and the aleatoric uncertainty through multimodality in waypoints& paths. To exemplify this dichotomy, we also propose a novel long term trajectory forecasting setting, with prediction horizons upto a minute, an order of magnitude longer than prior works. Finally, we presentY-net, a scene com-pliant trajectory forecasting network that exploits the pro-posed epistemic & aleatoric structure for diverse trajectory predictions across long prediction horizons.Y-net significantly improves previous state-of-the-art performance on both (a) The well studied short prediction horizon settings on the Stanford Drone & ETH/UCY datasets and (b) The proposed long prediction horizon setting on the re-purposed Stanford Drone & Intersection Drone datasets.

연구 동기 및 목표

• 인간 궤적 예측의 본질적 다중모드성을 다루기 위해 지식적 불확실성(알 수 없는 장기적 목표)과 고유적 불확실성(예측 불가능한 경로 변동성)을 구분한다.
• 예측 수평이 최대 60초에 이르는, 이전 연구보다 약 10배 길어진 장기 예측 벤치마크를 제안한다.
• 다양하고 정확한 장기 예측을 위해 목표와 경로의 다중모드를 명시적으로 모델링하는 장면 준수형 딥러닝 모델인 Y-net을 설계한다.
• 불확실성의 분해가 성능 향상에 기여함을 입증하며, 특히 고유적 변동성이 지배하는 장기 예측에서 그 효과가 두드러진다.

제안 방법

• Y-net는 U-net 기반 아키텍처를 사용하여 지식적 불확실성(최종 목표)과 고유적 불확실성(중간 경로 및 전체 궤적)에 대한 명시적 확률 히트맵을 예측한다.
• 모델은 장기적 목표에 대한 다중모드 분포(Ke)를 추정하고, 각 샘플된 목표에 조건부로 중간 경로 및 경로에 대한 다중모드 분포(Ka)를 예측한다.
• 장면 조건부 어텐션과 그래프 기반 메시지 전파를 활용하여 장면 의미 정보를 궤적 예측에 통합한다.
• 두 단계 샘플링 전략을 사용한다: 먼저 추정된 목표 분포에서 목표를 샘플링하고, 그 다음 각 목표에 조건부로 경로를 샘플링한다.
• 추론 중에 궤적의 다양성과 정확성을 향상시키기 위해 테스트 시점 샘플링 기법(TTST)을 도입한다.
• 다른 시간 수평에 따라 조건부로 설정함으로써, 이 프레임워크는 단기 및 장기 예측을 모두 지원한다.

실험 결과

연구 질문

• RQ1 지식적 불확실성과 고유적 불확실성을 분리함으로써 장기 예측의 성능은 어떻게 향상되는가?
• RQ2 통합된 모델이 장기 예측 수평(최대 60초) 동안 다양한 장면 준수 궤적을 효과적으로 예측할 수 있는가?
• RQ3 단기 모델을 반복적으로 적용할 경우 장기 예측에 대해 성능은 어떻게 저하되는가?
• RQ4 경로 다중모드성(Ka)과 목표 다중모드성(Ke)을 증가시키는 것이 예측 정확도에 어떤 영향을 미치는가?
• RQ5 목표와 경로 불확실성을 명시적으로 모델링하는 것이 다중모드성을 통합적으로 모델링하는 것보다 우수한가?

주요 결과

• 스탠퍼드 드론 데이터셋에서 Y-net은 단기 예측(tf = 5s)에서 ADE 34.0% 향상, FDE 51.9% 향상하여 최신 기술 성능을 개선하였다.
• ETH/UCY 벤치마크에서 Y-net은 이전 최신 기술 대비 ADE 5.6% 향상, FDE 51.9% 향상하였다.
• 제안된 장기 예측 설정(tf = 30s)에서 Y-net은 스탠퍼드 드론 데이터셋에서 PECNet 대비 ADE 50.6% 향상, FDE 77.1% 향상하였다.
• 인터섹션 드론 데이터셋에서 Y-net은 장기 예측에서 PECNet 대비 ADE 35.0% 감소, FDE 55.9% 감소하였다.
• 테스트 시점 샘플링 기법(TTST)은 SDD에서 ADE 9.1% 감소, InD에서 ADE 18.5% 감소하였고, FDE는 각각 30.4%, 35.0% 감소하여 다양성과 정확성 향상에 효과적임을 입증하였다.
• Ka(경로 다중모드성)를 변화시키면 항상 ADE가 향상되며, 20배 더 많은 샘플을 사용해도 PECNet는 Ke = 20일 때 Y-net에 뒤지며, 불확실성 분해 모델링의 우수성을 입증한다.