[논문 리뷰] Heterogeneous Edge-Enhanced Graph Attention Network For Multi-Agent Trajectory Prediction

Xiaoyu Mo, Yang Xing외 1명|arXiv (Cornell University)|2021. 06. 14.

Autonomous Vehicle Technology and Safety참고 문헌 35인용 수 17

한 줄 요약

이 논문은 도시 및 고속도로 환경에서 복잡한 상황에서 다중 이동체 동시 궤적 예측을 위한 새로운 이종 엣지 강화 그래프 주의망(HEAT)을 포함한 3채널 프레임워크를 제안한다. 이방식은 이종 이동체 역학, 간섭 상호작용을 위한 엣지 기반 방향성 그래프, 공유 지도 표현을 위한 게이트 매핑 선택기를 모델링함으로써, INTERACTION 데이터셋에서 1초 예측 시 RMSE 0.68m, 5초 예측 시 RMSE 2.05m로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Simultaneous trajectory prediction for multiple heterogeneous traffic participants is essential for the safe and efficient operation of connected automated vehicles under complex driving situations in the real world. The multi-agent prediction task is challenging, as the motions of traffic participants are affected by many factors, including their individual dynamics, their interactions with surrounding agents, the traffic infrastructures, and the number and modalities of the target agents. To further advance the trajectory prediction techniques, in this work we propose a three-channel framework together with a novel Heterogeneous Edge-enhanced graph ATtention network (HEAT), which is able to deal with the heterogeneity of the target agents and traffic participants involved. Specifically, the agent's dynamics are extracted from their historical states using type-specific encoders. The inter-agent interactions are represented with a directed edge-featured heterogeneous graph, and then interaction features are extracted using the proposed HEAT network. Besides, the map features are shared across all agents by introducing a selective gate mechanism. And finally, the trajectories of multi-agent are executed simultaneously. Validations using both urban and highway driving datasets show that the proposed model can realize simultaneous trajectory predictions for multiple agents under complex traffic situations, and achieve state-of-the-art performance with respect to prediction accuracy, demonstrating its feasibility and effectiveness.

연구 동기 및 목표

• 복잡한 주행 환경에서 차량, 보행자, 자전거 기사 등 다양한 이종 교통 이동체를 동시에 예측하는 문제에 대응한다.
• 공유 좌표계에 의존하는 기존 방법의 한계를 극복한다. 이러한 방법들은 이동과 회전에 민감하며 모델링의 유연성을 제한한다.
• 이동체 간 상호작용을 이종성과 엣지 특징을 가진 방향성 그래프로 표현함으로써 상호작용 모델링을 향상시킨다.
• 게이트 메커니즘을 통해 이동체 간에 선택적이고 공유되는 지도 표현을 가능하게 하여 효율성과 일반화 능력을 향상시키고, 개별 이동체의 지도를 저장하지 않는다.
• 도시 및 고속도로 환경을 포함한 다양한 상황에서 높은 예측 정확도를 달성하며, 임의의 수의 이동체와 다양한 모odalities를 처리할 수 있다.

제안 방법

• 3채널 프레임워크를 활용한다: 개별 좌표계에서 유형별 인코더를 사용하는 이동체 동적 특성 모델링 채널, 이종 엣지 기반 그래프를 통한 상호작용 모델링 채널, 게이트 선택기를 통한 지도 표현 채널.
• 이동체 간 상호작용을 방향성 이종 그래프로 표현하며, 노드는 차량, 보행자 등 다양한 유형의 이동체를 나타내고, 엣지는 상대 위치, 속도, 상호작용 유형 등의 특징을 가진다.
• 이종 이동체 유형 간 타입 인식 메시지 전달이 가능한 이종 엣지 강화 그래프 주의망(HEAT)을 설계하여 그래프를 처리한다.
• 동적으로 각 이동체가 수신하는 지도 정보의 양을 제어하는 선택적 게이트 메커니즘을 도입하여, 모든 이동체 간 효율적이고 적응적인 지도 특징 공유를 가능하게 한다.
• 공유된 위시트 지도를 CNN을 통해 인코딩하고, 게이트 메커니즘이 이동체별 관련성에 따라 지도 입력을 조절함으로써 중복을 줄이고 일반화 능력을 향상시킨다.
• 궤적 예측 및 상호작용 모델링 목표를 통합한 다중 과제 손실을 사용하여 엔드 투 엔드로 모델을 훈련시켜 동적 특성, 상호작용, 지도 특징을 함께 최적화한다.

실험 결과

연구 질문

• RQ1 그래프 기반 방법이 다양한 교통 참가자(차량, 보행자, 자전거 기사) 간의 이종 상호작용을 다중 이동체 궤적 예측에서 효과적으로 모델링할 수 있는가?
• RQ2 개별 이동체마다 별도의 좌표계를 사용할 경우, 공유 좌표계 대비 동적 교통 환경에서 예측의 강건성이 어떻게 향상되는가?
• RQ3 이종 그래프에 엣지 특징(예: 상대 운동, 상호작용 유형)을 통합할 경우, 표준 GAT 대비 상호작용 모델링 성능이 얼마나 향상되는가?
• RQ4 게이트 기반 메커니즘이 성능 저하 없이 또는 계산 비용 증가 없이 단일 지도 표현을 다수의 이동체 간에 효과적으로 공유할 수 있는가?
• RQ5 제안된 프레임워크는 다양한 실제 주행 환경에서 단기 및 장기 궤적 예측 모두 최신 기술 수준의 성능을 달성하는가?

주요 결과

• 제안된 HEAT 모델은 INTERACTION 데이터셋에서 1초 예측 시 RMSE 0.68m를 기록하여, 동일 조건에서 기존 방법인 CS-LSTM(0.61m) 및 CNN-LSTM(0.64m)을 초월한다.
• 5초 예측 수준에서는 RMSE 2.05m를 기록하여 기존 GAT 기반 기준 모델들(예: GAT-R-1의 4.87m)을 크게 능가하며, MATF-GAN 및 Scale-Net과 같은 최신 기술 수준의 방법과 비슷하거나 뛰어난 성능을 보였다.
• HEAT-R(공유 지도와 HEAT 상호작용 모듈을 포함)는 1초 시점에서 RMSE 0.68m, 5초 시점에서 RMSE 2.05m를 기록하여 다양한 이동체 수와 유형에서 강건성과 확장성을 입증했다.
• 제거 실험 결과, HEAT-1(HEAT를 포함)는 1초 시점에서 RMSE 0.6590m를 기록하여 GAT-1(0.7808m) 및 GAT-R-1(0.8228m)을 뚜렷이 능가함으로써 제안된 상호작용 모델링 접근법의 우수성을 입증했다.
• 게이트 지도 선택기는 효과적인 지도 공유를 가능하게 하여, 개별 이동체 지도 저장 또는 단순 전역 공유 대비 일반화 능력을 향상시키고 계산 오버헤드를 줄였다.
• 시각화 결과, HEAT는 복잡한 상황, 예를 들어 합류, 횡단, 고밀도 교통 상황에서도 다양한 이종 이동체의 궤적을 정확하게 예측함을 확인했다.