[논문 리뷰] EvolveGraph: Multi-Agent Trajectory Prediction with Dynamic Relational Reasoning

Jiachen Li, Fan Yang외 2명|arXiv (Cornell University)|2020. 03. 31.

Autonomous Vehicle Technology and Safety참고 문헌 47인용 수 101

한 줄 요약

EvolveGraph는 다중 에이전트 궤적 예측을 위한 동적 잠재적 상호작용 그래프 모델을 도입하여 명시적 관계 추론, 다중 모드 예측, 그리고 두 단계 학습 파이프라인을 가능하게 하며 합성 및 실제 데이터셋 전반에서 최첨단 결과를 달성합니다.

ABSTRACT

Multi-agent interacting systems are prevalent in the world, from pure physical systems to complicated social dynamic systems. In many applications, effective understanding of the situation and accurate trajectory prediction of interactive agents play a significant role in downstream tasks, such as decision making and planning. In this paper, we propose a generic trajectory forecasting framework (named EvolveGraph) with explicit relational structure recognition and prediction via latent interaction graphs among multiple heterogeneous, interactive agents. Considering the uncertainty of future behaviors, the model is designed to provide multi-modal prediction hypotheses. Since the underlying interactions may evolve even with abrupt changes, and different modalities of evolution may lead to different outcomes, we address the necessity of dynamic relational reasoning and adaptively evolving the interaction graphs. We also introduce a double-stage training pipeline which not only improves training efficiency and accelerates convergence, but also enhances model performance. The proposed framework is evaluated on both synthetic physics simulations and multiple real-world benchmark datasets in various areas. The experimental results illustrate that our approach achieves state-of-the-art performance in terms of prediction accuracy.

연구 동기 및 목표

• 이질적인 에이전트와 변화하는 상호 작용을 가지는 다중 에이전트 시스템에서 정확한 궤적 예측을 촉진한다.
• 에이전트 간의 잠재 상호작용 그래프를 명시적으로 모델링하는 프레임워크를 개발한다.
• 확률적이고 다성분 예측 설정을 통해 미래 궤적의 다양성과 불확실성을 포착한다.
• 시간에 따라 변화하는 관계를 반영하기 위해 상호작용 그래프의 동적 진화를 가능하게 한다.
• 정적 및 동적 그래프 학습을 결합한 두 단계 학습 파이프라인을 통해 학습 효율성과 수렴성을 개선한다.

제안 방법

• 에이전트 노드와 컨텍스트 노드로 관찰 그래프를 구성하여 초기 상호작용을 인코딩한다.
• 소프트맥스 기반 인코딩과 간접 재매개변수화로 Gumbel-softmax를 사용하여 간헐적 상호작용 그래프를 엣지 타입의 분포로 추론한다.
• 각 에이전트에 대해 가우시안 혼합 분포(K 컴포넌트)를 출력하는 순환 디코딩 과정을 통해 미래 궤적을 디코딩한다.
• 변화하는 관계를 포착하기 위해 tau 스텝마다 잠재 그래프를 재인코딩하는 그래프-순환 유닛이 있는 동적 상호작용 그래프 메커니즘을 도입한다.
• 먼저 정적 상호작용 그래프를 학습하는 1단계와 동적 그래프 진화를 통해 미세조정하는 2단계의 두 단계 학습 절차를 사용한다.
• 정적 단계와 동적 단계를 각각 최적화하는 손실 설계를 채택하여 다모드를 촉진하고 모드 붕괴에 대한 강건성을 높인다.

실험 결과

연구 질문

• RQ1 잠재적이고 이질적인 상호작용 그래프가 시간이 지나도 다중 에이전트 관계를 효과적으로 표현할 수 있는가?
• RQ2 상호작용 그래프의 명시적 진화가 정적 관계 기반 베이스라인보다 예측 정확도를 향상시키는가?
• RQ3 가우시안 혼합 디코딩과 진화하는 그래프를 통해 미래 궤적의 다모달 특성을 어느 정도 포착할 수 있는가?
• RQ4 두 단계 학습 절차가 수렴 속도를 높이고 동적 관계 추론의 성능을 향상시키는가?
• RQ5 가 varying agent types and contexts를 가진 합성 및 실제 벤치마크에서 이 접근법의 성능은 어떠한가?

주요 결과

• EvolveGraph는 다수의 벤치마크에서 최첨단 성능을 달성하며 데이터셋 전반에서 베이스라인을 지속적으로 능가한다.
• 정적 상호작용 그래프 학습은 엣지 타입 정확도와 궤적 예측에 이점을 주며, 변화하는 관계 시나리오에서 동적 진화가 추가 이점을 제공한다.
• 그래프 진화를 포함한 동적 버전은 Honda 3D(H3D) 및 NBA 데이터셋에서 minADE20/minFDE20를 크게 향상시키며, 예를 들어 STGAT 베이스라인 대비 minADE20에서 20.0%의 4.0초 감소, minFDE20에서 27.1% 감소를 달성했다.
• 두 단계 학습은 단일 단계 또는 순수하게 정적 approaches에 비해 수렴 속도를 가속하고 예측 정확도를 향상시킨다.
• 모델은 가우시안 혼합을 사용하여 다모달 궤적 예측을 지원하고, 예측된 다양한 궤적과 진화하는 그래프에 반영된 여러 가능한 미래 양상을 입증한다.