[논문 리뷰] JFP: Joint Future Prediction with Interactive Multi-Agent Modeling for Autonomous Driving

Wenjie Luo, Cheol‐Ho Park외 3명|arXiv (Cornell University)|2022. 12. 16.

Human Mobility and Location-Based Analysis인용 수 7

한 줄 요약

JFP는 디코더에서 상호작용을 모델링함으로써 일致하고 겹치지 않는 다중 에이전트 트랙토리 예측을 가능하게 하는 엔드 투 엔드 훈련 가능한 공동 미래 예측 모델을 제안한다. 이는 동적 쌍방향 그래픽 모델을 사용한다. Waymo Open Motion Dataset에서 최신 기술 수준의 성능을 달성하였으며, 공개 및 산업 규모의 데이터셋에서 트랙토리 겹침 지표에서 상당한 향상을 이루었다.

ABSTRACT

We propose JFP, a Joint Future Prediction model that can learn to generate accurate and consistent multi-agent future trajectories. For this task, many different methods have been proposed to capture social interactions in the encoding part of the model, however, considerably less focus has been placed on representing interactions in the decoder and output stages. As a result, the predicted trajectories are not necessarily consistent with each other, and often result in unrealistic trajectory overlaps. In contrast, we propose an end-to-end trainable model that learns directly the interaction between pairs of agents in a structured, graphical model formulation in order to generate consistent future trajectories. It sets new state-of-the-art results on Waymo Open Motion Dataset (WOMD) for the interactive setting. We also investigate a more complex multi-agent setting for both WOMD and a larger internal dataset, where our approach improves significantly on the trajectory overlap metrics while obtaining on-par or better performance on single-agent trajectory metrics.

연구 동기 및 목표

• 예측 디코더에서 공동 모델링의 부재로 인해 종종 일관성 없고 겹치는 예측이 발생하는 문제를 해결하기 위해.
• 에코딩을 초월해 상호작용적 다중 에이전트 동역학을 포착하는 엔드 투 엔드 훈련 가능한 모델을 개발하기 위해.
• 복잡하고 혼잡한 환경에서 다수의 에이전트가 존재할 때 트랙토리 일관성을 향상하고 비현실적인 겹침을 줄이기 위해.
• 자율주행차 중심의 계획을 위한 조건부 추론을 가능하게 하기 위해, 자율주행차의 트랙토리에 조건부로 설정된 공동 분포를 모델링하기 위해.
• 공개 벤치마크를 초월해 대규모 산업용 데이터셋에서도 효과적으로 일반화할 수 있도록 하기 위해.

제안 방법

• 노드가 에이전트를 나타내고, 에ッ지는 단일 트랙토리 예측에 기반한 동적 쌍방향 상호작용을 나타내는 쌍방향 마르코프 무작위장(field, MRF) 공식화를 사용한다.
• 예측된 트랙토리에서 동적 상호작용 그래프를 구성함으로써, 지도 학습이 필요 없는 컨텍스트 인식 기반의 에이전트 관계 모델링을 가능하게 한다.
• 에이전트 쌍 간의 쌍방향 잠재력을 계산하여 트랙토리 일관성을 인코딩하고, 메시지 전파를 통해 공동 예측을 정밀하게 조정한다.
• 모델은 모든 에이전트의 미래 트랙토리의 공동 로그우도를 최적화하여 엔드 투 엔드로 훈련된다.
• 에너지 기반 모델링을 통해 효율적인 조건부 추론이 가능해지며, 이는 자율주행차 계획에서 특정 자율주행차 행동에 따라 예측이 조건화되어야 하는 데 핵심적이다.
• 모델은 완전 연결형 및 스타 구조 그래프를 모두 지원하며, 특히 에이전트 중심 자율주행 시나리오에서 매우 효과적이다.

실험 결과

연구 질문

• RQ1 디코더에서 구조적 상호작용 모델링을 통한 공동 미래 예측이, 개별 예측 기반 베이스라인 대비 트랙토리 겹침을 줄이는가?
• RQ2 예측된 트랙토리에 기반한 동적 그래프 구축 방식이 공동 운동 예측 성능에 어떤 영향을 미치는가?
• RQ3 모델이 공동 지표(예: 겹침, 조건부 예측)에서 성능 유지를 하면서도 대규모 산업용 데이터셋으로 일반화할 수 있는가?
• RQ4 출력 단계에서 쌍방향 상호작용을 모델링함으로써 충돌 방지에 대한 명시적 도메인 지식 없이도 더 나은 일관성을 달성할 수 있는가?
• RQ5 상호작용 그래프의 토폴로지 선택(예: 스타 vs. 완전 연결)이 다중 에이전트 시나리오에서 성능과 확장성에 어떤 영향을 미치는가?

주요 결과

• JFP는 Waymo Open Motion Dataset의 상호작용 운동 예측 트랙에서 최신 기술 수준의 성능을 달성하여 MultiPath++ 및 SceneTransformer를 초월한다.
• WOMD와 더 큰 내부 데이터셋 모두에서 JFP는 트랙토리 겹침 지표를 크게 개선했으며, 개별 및 쌍방향 지표가 기존 베이스라인과 비슷하거나 더 좋더라도 성능 향상이 뚜렷하다.
• 예측된 트랙토리에 기반한 동적 그래프 버전은 복잡한 시나리오에서 다수의 에이전트가 존재할 경우 고정된 그래프 구조(예: 스타형, 완전 연결형)보다 뛰어난 성능을 보였다.
• 자율주행차 중심의 스타형 그래프를 사용한 모델은 자율주행차 조건부 지표에서 뛰어난 성능을 보였으며, 에이전트 중심 계획에 적합함을 입증했다.
• MRF 프레임워크 내에서 메시지 전파를 통한 조건부 추론은 특정 자율주행차 트랙토리에 조건화된 정확한 공동 예측을 가능하게 하며, 이는 실세계 자율주행 스택의 핵심 요구사항이다.
• 정성적 결과는 JFP가 교차로, 회전 동작, 혼잡한 교통 상황과 같은 도전적인 시나리오에서 트랙토리 겹침을 성공적으로 방지함을 보여준다.