[논문 리뷰] BiTraP: Bi-directional Pedestrian Trajectory Prediction with Multi-modal Goal Estimation

Yu Yao, Ella Atkins외 3명|arXiv (Cornell University)|2020. 07. 29.

Autonomous Vehicle Technology and Safety참고 문헌 38인용 수 14

한 줄 요약

BiTraP는 추정된 목표를 기반으로 정방향 및 역방향 디코딩을 통합하는 양방향, 목표 조건화된 궤적 예측 모델을 제안하며, 장기적인 보행자 운동 예측 성능을 향상시킨다. 이 모델은 제1인칭 시점 및 벌거장이 시점 데이터셋에서 최신 기술(SOTA) 성능을 달성하여 ADE/FDE를 최대 50% 감소시키며, 2초 이상의 장기 예측에서 기존 방법을 능가한다. 아블레이션 분석을 통해 잠재 변수 선택(GMM 대비 비모수적)이 예측 다양성에 결정적인 영향을 미친다.

ABSTRACT

Pedestrian trajectory prediction is an essential task in robotic applications such as autonomous driving and robot navigation. State-of-the-art trajectory predictors use a conditional variational autoencoder (CVAE) with recurrent neural networks (RNNs) to encode observed trajectories and decode multi-modal future trajectories. This process can suffer from accumulated errors over long prediction horizons (>=2 seconds). This paper presents BiTraP, a goal-conditioned bi-directional multi-modal trajectory prediction method based on the CVAE. BiTraP estimates the goal (end-point) of trajectories and introduces a novel bi-directional decoder to improve longer-term trajectory prediction accuracy. Extensive experiments show that BiTraP generalizes to both first-person view (FPV) and bird's-eye view (BEV) scenarios and outperforms state-of-the-art results by ~10-50%. We also show that different choices of non-parametric versus parametric target models in the CVAE directly influence the predicted multi-modal trajectory distributions. These results provide guidance on trajectory predictor design for robotic applications such as collision avoidance and navigation systems.

연구 동기 및 목표

• 재귀 모델에서 장기 예측 환경(≥2초)에서 궤적 예측 정확도 저하 문제를 해결하기 위해.
• 보행자 목표를 추정하고 이를 양방향 디코딩의 기준점으로 삼음으로써 다중 모드 궤적 예측 성능을 향상시키기 위해.
• 조건부 변동성 오토인코더(CVAE)에서 잠재 변수 분포(Gaussian 대비 categorical)가 예측 궤적 분포의 다양성과 품질에 미치는 영향을 조사하기 위해.
• 양방향 손실 및 디코더 설계가 예측 성능 및 계산 효율성에 미치는 영향을 평가하기 위해.
• 충돌 회피 및 주행과 같은 로봇 응용 분야에서 궤적 예측기 선택을 안내하기 위해.

제안 방법

• BiTraP는 목표 추정 헤드를 사용해 향후 보행자 목표를 추정하며, 이를 역방향 궤적 생성의 종점으로 간주한다.
• 현재 위치에서의 정방향 예측과 추정된 목표에서의 역방향 예측을 조합하는 양방향 디코더를 적용한다.
• 다중 모드 향후 궤적을 생성하기 위해 확률적 잠재 변수를 갖는 조건부 변동성 오토인코더(CVAE)를 사용한다.
• 두 가지 변형을 구현한다: BiTraP-NP(비모수적, 가우시안 잠재 변수) 및 BiTraP-GMM(모수적, GMM 출력을 갖는 범주형 잠재 변수).
• 정확성과 분포 다양성의 균형을 위해 최고의 다수(BoM) L2 손실과 음의 로그우도(NLL) 손실을 함께 훈련에 사용한다.
• 오차 누적을 줄이기 위해 정방향 및 역방향 궤적 예측을 동시에 최적화하는 양방향 손실 함수를 도입한다.

실험 결과

연구 질문

• RQ1 현재 위치와 추정된 목표에서의 양방향 디코딩이 장기 궤적 예측 정확도에 어떤 영향을 미치는가?
• RQ2 비모수적(Gaussian)과 모수적(GMM) 잠재 변수 분포를 사용할 경우 예측 궤적 분포의 다양성과 품질에 어떤 영향을 미치는가?
• RQ3 손실 함수 선택(BoM 대비 NLL)이 다중 모드 궤적 예측의 분포 확산과 현실성에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 제1인칭 시점 및 벌거장이 시점 데이터셋 등 다양한 센서 모odalities에 일반화 가능한가?
• RQ5 예측된 궤적 분포가 시뮬레이션에서 충돌 탐지 및 로봇 주행 효율성에 어떤 영향을 미치는가?

주요 결과

• BiTraP는 다양한 데이터셋에서 ADE와 FDE에서 최신 기술(SOTA) 대비 10–50% 향상되며, 특히 2초 이상의 장기 예측 환경에서 두드러진다.
• 양방향 디코더는 단방향 기준선 대비 ADE/FDE를 10–28% 감소시켜 오차 누적 완화의 효과를 입증한다.
• BiTraP-GMM는 더 컴팩트하고 NLL이 낮은 궤적 분포를 생성하는 반면, BiTraP-NP는 더 다양하고 넓게 퍼진 예측을 생성하여 잠재 변수 선택이 분포 형태에 미치는 영향을 확인한다.
• 양방향 손실은 ADE/FDE를 5–18% 향상시키고 ANLL/FNLL을 약 0.25 향상시켜 공동 최적화가 예측 품질 향상에 기여함을 보여준다.
• ETH-UCY 데이터셋에서 BiTraP-GMM는 1.2초 이후 Trajectron++을 능가하며, 장기 예측에서 역방향 디코딩의 이점을 확인한다.
• 로봇 주행 시뮬레이션 결과, BiTraP-NP는 다양한 예측으로 인해 충돌 감지 민감도가 높아지고, BiTraP-GMM는 거짓 경고를 줄여 안전성과 효율성 간의 상충 관계를 보여준다.