[논문 리뷰] Vision-based Multi-future Trajectory Prediction: A Survey

Renhao Huang, Hao Xue외 3명|arXiv (Cornell University)|2023. 02. 21.

Human Mobility and Location-Based Analysis인용 수 17

한 줄 요약

멀티모달 궤도 예측(MTP)에 대한 포괄적 고찰로, 프레임워크, 데이터세트, 평가 지표 및 미래 방향의 분류 체계를 상세히 설명합니다. 소음 기반, 고정점(anchor-conditioned), 격자 기반, 분포 중심 접근법과 평가의 도전과제들을 다룹니다.

ABSTRACT

Vision-based trajectory prediction is an important task that supports safe and intelligent behaviours in autonomous systems. Many advanced approaches have been proposed over the years with improved spatial and temporal feature extraction. However, human behaviour is naturally diverse and uncertain. Given the past trajectory and surrounding environment information, an agent can have multiple plausible trajectories in the future. To tackle this problem, an essential task named multi-future trajectory prediction (MTP) has recently been studied. This task aims to generate a diverse, acceptable and explainable distribution of future predictions for each agent. In this paper, we present the first survey for MTP with our unique taxonomies and a comprehensive analysis of frameworks, datasets and evaluation metrics. We also compare models on existing MTP datasets and conduct experiments on the ForkingPath dataset. Finally, we discuss multiple future directions that can help researchers develop novel multi-future trajectory prediction systems and other diverse learning tasks similar to MTP.

연구 동기 및 목표

• 멀티모달 궤도 예측(MTP) 문제와 자율 시스템에서의 중요성을 소개합니다.
• MTP 프레이워크의 분류 체계를 제시하고 강점과 한계를 분석합니다.
• MTP 연구에서 사용되는 데이터세트, 벤치마크 및 평가 지표를 검토합니다.
• 현재 도전 과제, 격차 및 향후 MTP 연구의 유망한 방향을 식별합니다.
• MTP를 모션 플래닝 및 설명가능성 고려와 같은 다운스트림 작업과 연결합니다.

제안 방법

• 노이즈 기반, 앵커 조건, 격자 기반 및 출력 표현(가우시안 등)을 포함한 MTP 프레임워크의 조사 및 분류 체계 개발.
• 학습 목표 및 손실 함수(예: 다양성 손실, 적대적 손실, CVAE 증거 하한선)에 대한 논의.
• 하한선, 확률 인지, 분포 인식 범주에 걸친 평가 지표 분석.
• ETH/UCY, NuScenes, Argoverse, Waymo 등의 데이터세트 및 합성 토이 데이터세트(ForkingPath) 검토.
• 미래 방향의 종합: 지표, 모션 플래닝 통합, 언어 안내 가능한 설명 가능성, 경량 프레임워크, OOD 처리 및 도시 전체 예측.

Figure 1 : An example of Multimodal Trajectory Prediction . The blue, green and red lines are the observed, the ground truth and other possible paths respectively. The agent can have multiple plausible trajectories including the ground truth given an observed path.

실험 결과

연구 질문

• RQ1 다중 모드 궤적 예측에 사용되는 주요 프레임워크 계열은 무엇이며 어떻게 다릅니까?
• RQ2 MTP 모델을 평가하는 데 사용되는 데이터세트와 평가 지표는 무엇이며 이러한 지표의 한계는 무엇입니까?
• RQ3 MTP를 모션 플래닝 및 설명가능성과 같은 다운스트림 작업과 어떻게 통합할 수 있습니까?
• RQ4 모달리티 커버리지, 계산 요구, OOD 일반화와 같은 현재의 단점을 다루기 위한 방향은 무엇입니까?

주요 결과

• MTP 프레임워크는 노이즈 기반, 앵커 조건, 격자 기반 및 다양한 출력 표현(예: 가우시안, 정규화 흐름, DDPM)으로 분류됩니다.
• 평가 지표는 하한선, 확률 인지, 분포 인지로 나뉘며 각각 고유의 한계와 도전과제가 있습니다.
• ForkingPath는 MTP 모델의 분포 커버리지를 더 잘 평가하기 위해 다중 정답 궤적을 제공합니다.
• ETH/UCY, Stanford Drone, NuScenes, Argoverse, Waymo 등의 데이터세트가 표준 벤치마크이며, 모드 붕괴 및 사회적 수용성 연구에 합성 토이 데이터세트가 사용됩니다.
• 향후 방향으로 더 나은 지표, 모션 플래닝과의 통합, 언어 기반 설명 가능성 있는 MTP의 필요성이 인식되고 있습니다.

(a) DTP