[논문 리뷰] The Garden of Forking Paths: Towards Multi-Future Trajectory Prediction

Junwei Liang, Lu Jiang외 3명|arXiv (Cornell University)|2019. 12. 13.

Video Surveillance and Tracking Methods참고 문헌 65인용 수 11

한 줄 요약

이 논문은 다중 미래 경로 예측 모델을 정량적으로 평가할 수 있도록 설계된 합성적이고 3차원 시뮬레이션된 벤치마크인 Forking Paths 데이터셋을 소개한다. 이 데이터셋은 동일한 과거에 대해 인간이 애너테이션한 다수의 미래 경로를 포함하고 있다. 또한, 다중 척도 위치 인코딩과 그래프 기반의 컨volutional RNN을 사용하여 다양한 실현 가능성이 있는 미래 경로를 생성하는 Multiverse 모델을 제안한다. 이 모델은 새로운 벤치마크와 실제 세계의 VIRAT/ActEV 데이터셋 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper studies the problem of predicting the distribution over multiple possible future paths of people as they move through various visual scenes. We make two main contributions. The first contribution is a new dataset, created in a realistic 3D simulator, which is based on real world trajectory data, and then extrapolated by human annotators to achieve different latent goals. This provides the first benchmark for quantitative evaluation of the models to predict multi-future trajectories. The second contribution is a new model to generate multiple plausible future trajectories, which contains novel designs of using multi-scale location encodings and convolutional RNNs over graphs. We refer to our model as Multiverse. We show that our model achieves the best results on our dataset, as well as on the real-world VIRAT/ActEV dataset (which just contains one possible future).

연구 동기 및 목표

• 기존의 단일 미래 지표에 의존하는 다중 미래 경로 예측 모델 평가에 있어 정량적 벤치마크의 부족을 해결하기 위해.
• 실제 세계 데이터에서 유래하고 인간이 애너테이션한 목표 지향적 행동을 기반으로 하여 현실적이고 확장 가능한 다수의 실현 가능한 미래 경로를 포함하는 데이터셋을 구축하기 위해.
• 과거 운동과 환경 맥락을 조건으로 삼아 다양한 의미적으로 타당한 미래 경로를 생성할 수 있는 딥러닝 모델을 개발하기 위해.
• 합성 데이터로 학습하고 VIRAT/ActEV와 같은 실제 영상 벤치마크에서 테스트함으로써 모델의 강건성과 일반화 능력을 검증하기 위해.

제안 방법

• Forking Paths 데이터셋은 3D CARLA 시뮬레이터를 사용하여 생성되며, 실제 세계의 경로가 3차원 환경에 투영되고 인간 애너테이터들이 의미 있는 목표로 연장된다.
• Multiverse 모델은 두 단계의 다중 척도 위치 인코딩을 사용한다: 다중 모드의 목적지 분포를 모델링하기 위한 거시적 2D 격자와 정밀한 국소화를 위한 미세 척도 오프셋 예측.
• 2D 공간 그래프 상에서 공간 그래프 어텐션 메커니즘을 적용하여 환경 맥락을 인코딩하고 에이전트 및 환경 요소 간의 상호작용을 모델링한다.
• 운동 패턴과 경로 시퀀스의 시간적 의존성을 캡처하기 위해 공간 그래프 상에서 컨volutional RNN을 사용한다.
• 모델는 합성 데이터셋에서 ADE 및 FDE 지표를 사용하여 다중 미래 예측 손실을 최소화하도록 엔드 투 엔드로 학습되며, 도메인 적응을 통해 실제 세계 데이터로 일반화된다.

Figure 2 : Overview of our model. The input to the model is the ground truth location history, and a set of video frames, which are preprocessed by a semantic segmentation model. This is encoded by the “History Encoder” convolutional RNN. The output of the encoder is fed to the convolutional RNN dec

실험 결과

연구 질문

• RQ1 인간이 애너테이션한 다수의 미래 경로를 포함하는 합성적이고 시뮬레이션 기반의 데이터셋이 다중 미래 경로 예측을 위한 신뢰할 수 있는 정량적 벤치마크로 기능할 수 있는가?
• RQ2 다중 척도 위치 인코딩 전략은 다양한 다중 모드의 미래 경로를 모델링하는 데 얼마나 효과적인가?
• RQ3 그래프 기반 어텐션과 컨volutional RNN은 경로 예측에서 환경 맥락과 운동 역학을 모델링하는 데 얼마나 기여하는가?
• RQ4 합성 데이터로 학습된 모델이 VIRAT/ActEV와 같은 실제 영상 벤치마크로 효과적으로 일반화되는가?

주요 결과

• Multiverse 모델은 실제 데이터로 학습했을 때 VIRAT/ActEV 벤치마크에서 최신 기술 수준의 성능을 달성하며, ADE 18.51과 FDE 35.84를 기록했다.
• 제안된 Forking Paths 데이터셋에서 Multiverse는 minADE 20 166.1과 minFDE 20 329.5를 기록하여 다중 미래 예측 분야에서 최신 기술 수준의 모델들을 능가했다.
• 제거 실험 결과, 공간 그래프나 미세 위치 디코더를 제거할 경우 성능 저하가 심각하게 발생하여, 환경 맥락과 정밀도 모델링에서 이들의 중요성을 입증했다.
• 모델는 도메인 이동에 대해 강건성을 보였으며, 합성 데이터에서 실제 데이터로 전이했을 때 ADE가 4.43점 뿐만 감소하여 RGB에 의존하는 모델들보다 뛰어난 성능을 보였다.
• 합성 데이터와 실제 데이터 간의 모델 순위가 일관되게 유지되어, 합성 데이터셋이 신뢰할 수 있는 평가 플랫폼임을 검증했다.

Figure 3 : Visualization of the Forking Paths dataset. On the left is examples of the real videos and the second column shows the reconstructed scenes. The person in the blue bounding box is the controlled agent and multiple future trajectories annotated by humans are shown by overlaid person frames