[논문 리뷰] TPPO: A Novel Trajectory Predictor with Pseudo Oracle

Biao Yang, He, Caizhen외 4명|arXiv (Cornell University)|2020. 02. 04.

Autonomous Vehicle Technology and Safety참고 문헌 40인용 수 8

한 줄 요약

TPPO는 다중 모달성과 사회적 인지를 고려한 궤적 예측을 향상시키기 위해 실제 궤적에서 추정한 보행자 이동 방향과 잠재 변수 분포라는 두 가지 의사 오라클을 활용하는 새로운 생성형 궤적 예측 모델이다. 관찰된 궤적과 진짜 궤적 간의 분포 간격을 최소화하는 잠재 변수 예측기와 사회적 주의 모듈을 통합함으로써, 기준 데이터셋에서 평균 및 최종 이격 오차가 낮은 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Forecasting pedestrian trajectories in dynamic scenes remains a critical problem in various applications, such as autonomous driving and socially aware robots. Such forecasting is challenging due to human-human and human-object interactions and future uncertainties caused by human randomness. Generative model-based methods handle future uncertainties by sampling a latent variable. However, few studies explored the generation of the latent variable. In this work, we propose the Trajectory Predictor with Pseudo Oracle (TPPO), which is a generative model-based trajectory predictor. The first pseudo oracle is pedestrians' moving directions, and the second one is the latent variable estimated from ground truth trajectories. A social attention module is used to aggregate neighbors' interactions based on the correlation between pedestrians' moving directions and future trajectories. This correlation is inspired by the fact that pedestrians' future trajectories are often influenced by pedestrians in front. A latent variable predictor is proposed to estimate latent variable distributions from observed and ground-truth trajectories. Moreover, the gap between these two distributions is minimized during training. Therefore, the latent variable predictor can estimate the latent variable from observed trajectories to approximate that estimated from ground-truth trajectories. We compare the performance of TPPO with related methods on several public datasets. Results demonstrate that TPPO outperforms state-of-the-art methods with low average and final displacement errors. The ablation study shows that the prediction performance will not dramatically decrease as sampling times decline during tests.

연구 동기 및 목표

• 동적인 보행자 환경에서 인간-인간 및 인간-물체 간 상호작용을 모델링하는 데 도전하는 것.
• 머리 방향을 근사하기 위해 보행자 이동 방향을 의사 오라클로 활용하여 궤적 예측 정확도를 향상시키는 것.
• 관측된 궤적과 진짜 궤적에서 유도된 데이터 기반 잠재 분포를 학습함으로써 무작위 정규 노이즈에 대한 의존도를 줄이는 것.
• 관측된 궤적과 진짜 궤적에서 유도된 잠재 변수 간의 분포 간격을 최소화하여 예측의 강건성을 향상시키는 것.
• 낮은 샘플링 의존성과 최소한의 계산 오버헤드로 정확하고 다양한 사회적으로 타당한 궤적 예측을 가능하게 하는 것.

제안 방법

• 궤적 생성을 위한 LSTM 기반 인코더-디코더와 진짜/가짜 궤적을 식별하기 위한 LSTM 기반 인코더를 사용하는 제너레이터-디스커미네이터 프레임워크를 제안한다.
• 보행자 이동 방향을 의사 오라클로 사용하여 향후 궤적과의 방향 상관관계를 기반으로 상호작용을 모델링하는 사회적 주의 모듈을 도입한다.
• 관측된 궤적에서 잠재 변수 분포를 추정하는 잠재 변수 예측기를 설계하여 진짜 궤적에서 유도된 분포와의 간격을 최소화한다.
• 미래의 불확실성을 모델링하고 다중 모달 출력을 생성하기 위해 예측된 잠재 변수에 무작위 정규 노이즈를 주입한다.
• 예측된 궤적의 현실성과 다양성을 향상시키기 위해 모델을 적대적으로 훈련시킨다.
• 운동 방향 변화를 포착하고 국소 궤적 역학을 향상시키기 위해 다수준 시각 인식(MLVP) 모듈을 사용한다.

실험 결과

연구 질문

• RQ1 보행자 이동 방향이 사회적 상호작용을 모델링함으로써 궤적 예측을 향상시키는 데 효과적인 의사 오라클로 기능할 수 있는가?
• RQ2 진짜 궤적에서 유도된 분포를 모방하는 학습된 잠재 변수 예측기가 무작위 노이즈보다 예측 정확도를 향상시킬 수 있는가?
• RQ3 다양한 샘플링 시간에서 의사 오라클과 잠재 변수 학습의 통합이 예측 성능에 어떤 영향을 미치는가?
• RQ4 혼잡하거나 복잡한 사회적 상호작용 상황에서 모델이 정확성과 다양성을 얼마나 유지하는가?
• RQ5 제안된 방법이 최소한의 계산 오버헤드와 낮은 샘플링 의존성으로 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• TPPO는 ETH, HOTEL, ZARA1, ZARA2 데이터셋에서 최신 기술 수준의 성능을 달성하여 평균 이격 오차(ADE)와 최종 이격 오차(FDE) 모두에서 기존 방법들을 능가한다.
• 제거 실험 결과는 샘플링 시간이 감소하더라도 예측 성능이 안정됨을 확인하여 강건성과 효율성을 입증한다.
• 사회적 주의 모듈은 앞서 가는 보행자와의 방향 상관관계를 활용함으로써 예측 정확도를 크게 향상시킨다.
• 잠재 변수 예측기는 관측된 잠재 변수와 진짜 궤적에서 유도된 잠재 변수 간의 분포 간격을 효과적으로 줄여 더 정확하고 다양한 궤적 생성을 가능하게 한다.
• 밀도 맵는 TPPO가 현실적인 보행자 상호작용(예: 장애물 회피, 다른 사람을 둘러서 이동)을 반영한 사회적으로 타당한 다중 모달 궤적을 생성함을 보여준다.
• 모델은 최소한의 계산 오버헤드를 유지하여 자율 주행 로봇이나 자율 시스템에서 실시간 배포에 적합하다.