[논문 리뷰] M2I: From Factored Marginal Trajectory Prediction to Interactive Prediction

Qiao Sun, Xin Huang외 3명|arXiv (Cornell University)|2022. 02. 24.

Autonomous Vehicle Technology and Safety인용 수 4

한 줄 요약

M2I는 영향력 있는 에이전트와 반응하는 에이전트 쌍을 식별함으로써 다중 에이전트 궤적 예측을 근사치 및 조건부 예측으로 분해하는 새로운 프레임워크를 제안한다. 이는 시나리오 준수형, 상호작용을 반영하는 운동 예측을 가능하게 하며, Waymo Open Motion Dataset에서 최신 기술 수준의 성능을 달성한다. 에이전트 상호작용의 분해 모델링을 통해 minFDE 및 mAP와 같은 핵심 지표에서 근사치 및 연합 기반 베이스라인을 초월한다.

ABSTRACT

Predicting future motions of road participants is an important task for driving autonomously in urban scenes. Existing models excel at predicting marginal trajectories for single agents, yet it remains an open question to jointly predict scene compliant trajectories over multiple agents. The challenge is due to exponentially increasing prediction space as a function of the number of agents. In this work, we exploit the underlying relations between interacting agents and decouple the joint prediction problem into marginal prediction problems. Our proposed approach M2I first classifies interacting agents as pairs of influencers and reactors, and then leverages a marginal prediction model and a conditional prediction model to predict trajectories for the influencers and reactors, respectively. The predictions from interacting agents are combined and selected according to their joint likelihoods. Experiments show that our simple but effective approach achieves state-of-the-art performance on the Waymo Open Motion Dataset interactive prediction benchmark.

연구 동기 및 목표

• 충돌을 방지하고 현실적인 상호작용을 반영하는 시나리오 준수형, 다중 에이전트 궤적 예측을 생성하는 데 도전하는 것.
• 다양한 에이전트 간의 연합 예측의 지수적 복잡도를 극복하기 위해 연합 분포를 근사치 및 조건부 구성요소로 분해하는 것.
• 종단 간 연합 모델링이 필요 없이도 정확하고 상호작용을 반영하는 예측을 가능하게 하기 위해 인과적 유사 에이전트 역할(영향력 있는 자 및 반응자)을 식별하는 것.
• 맥락 인코딩과 궤적 헤드를 분리함으로써 다양한 백본 예측 모델에 일반화할 수 있도록 모듈러한 프레임워크를 설계하는 것.
• 조건부 궤적 모델링을 통한 상호작용 인지 기반 추론을 통합함으로써 예측 정확도와 시나리오 준수성을 향상시키는 것.

제안 방법

• M2I는 히우리스틱 기반 관계 분류기를 사용하여 상호작용하는 에이전트 쌍을 영향력 있는 자(독립적 행동)와 반응자(반응적 행동)로 분류한다.
• 영향력 있는 자 에이전트의 미래 궤적을 생성하기 위해 근사치 궤적 예측기를 활용한다.
• 조건부 궤적 예측기는 각 예측된 영향력 있는 자 궤적을 조건으로 하여 반응자 궤적을 생성한다.
• 연합 궤적 샘플은 그들의 연합 가능도로 평가되며, 가장 높은 점수를 받는 조합이 최종 예측으로 선택된다.
• 이 프레임워크는 모듈러하여 VectorNet 및 TNT와 같은 다양한 맥락 인코더와 예측 헤드와 통합 가능하다.
• 추론 시에 영향력 있는 자-반응자 역할을 추론하기 위한 관계 예측기가 훈련되어 동적 상호작용 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 근사치 및 조건부 모델링을 분리하는 분해 예측 접근법이 시나리오 준수형 다중 에이전트 궤적 예측을 향상시키는가?
• RQ2 영향력 있는 자-반응자 역할을 통한 에이전트 상호작용 모델링이 연합 또는 근사치 예측 기반 베이스라인과 비교해 정확도 및 일관성 측면에서 어떻게 성능을 내는가?
• RQ3 M2I 프레임워크가 다양한 백본 예측 모델과 데이터셋에 얼마나 잘 일반화되는가?
• RQ4 예측된 영향력 있는 자 궤적을 바탕으로 한 조건부 예측을 통합함으로써 더 현실적이고 충돌 없는 연합 궤적을 도출할 수 있는가?
• RQ5 다양한 에이전트 유형(예: 차량, 보행자, 자전거 기사) 간에 상호작용 빈도가 다를 경우 M2I의 성능는 어떻게 변하는가?

주요 결과

• M2I는 Waymo Open Motion Dataset의 상호작용 예측 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, minFDE 3.38과 mAP 0.14를 기록하여 근사치 기반 베이스라인(minFDE: 3.43, mAP: 0.10)을 능가한다.
• 이 방법은 OR(중첩률)을 근사치 기반의 0.42에서 0.20으로 감소시켜 시나리오 준수성 향상과 궤적 충돌 감소를 뚜렷이 보여준다.
• 다른 백본(TNT + VectorNet)을 사용할 경우에도 M2I는 일관된 향상을 유지하며, 특히 mAP(+0.04)와 OR(-0.14)에서 뚜렷한 개선을 보여, 강력한 일반화 능력을 입증한다.
• 실제 영향력 있는 자 궤적을 사용한 조건부 예측기(M2I Conditional GT)는 근사치 기반 베이스라인보다 더 뛰어난 성능을 보이며, 조건부 모델링의 효과성을 입증한다.
• 차량의 경우 상호작용 데이터가 풍부하여 성능 향상이 가장 두드러지며, 보행자 및 자전거 기사의 경우 훈련 상호작용 빈도가 적어 향상 폭이 제한적이다.
• 정성적 결과는 M2I가 양보 및 반응 행동을 성공적으로 포착함을 보여주며, 빨간 에이전트가 파란 에이전트의 U턴을 피하기 위해 속도를 줄이는 등의 사례를 예측할 수 있다. 이는 근사치 모델이 실패하는 상황이다.