[논문 리뷰] ReCoG: A Deep Learning Framework with Heterogeneous Graph for Interaction-Aware Trajectory Prediction

Xiaoyu Mo, Yang Xing외 1명|arXiv (Cornell University)|2020. 12. 09.

Autonomous Vehicle Technology and Safety참고 문헌 11인용 수 40

한 줄 요약

ReCoG는 차량–인프라 상호작용을 이질 그래프로 모델링하고 RNN, CNN, 및 GNN을 사용하여 미래 차량 궤적을 예측하며, ADE/FDE 지표에서 INTERACTION 데이터셋에 대해 최첨단 성능을 달성합니다.

ABSTRACT

Predicting the future trajectory of surrounding vehicles is essential for the navigation of autonomous vehicles in complex real-world driving scenarios. It is challenging as a vehicle's motion is affected by many factors, including its surrounding infrastructures and vehicles. In this work, we develop the ReCoG (Recurrent Convolutional and Graph Neural Networks), which is a general scheme that represents vehicle interactions with infrastructure information as a heterogeneous graph and applies graph neural networks (GNNs) to model the high-level interactions for trajectory prediction. Nodes in the graph contain corresponding features, where a vehicle node contains its sequential feature encoded using Recurrent Neural Network (RNN), and an infrastructure node contains spatial feature encoded using Convolutional Neural Network (CNN). Then the ReCoG predicts the future trajectory of the target vehicle by jointly considering all of the features. Experiments are conducted by using the INTERACTION dataset. Experimental results show that the proposed ReCoG outperforms other state-of-the-art methods in terms of different types of displacement error, validating the feasibility and effectiveness of the developed approach.

연구 동기 및 목표

• 복잡한 환경에서 인프라가 차량의 움직임에 영향을 미치는 상황에서 상호작용 인식 궤적 예측의 필요성을 제시한다.
• 차량 역학과 인프라 맥락을 공동으로 추론하기 위한 이질 그래프 프레임워크를 제안한다.
• encoders 분리 가능성( RNN, CNN, GNN)과 디코더를 통한 미래 궤적 예측의 확장성을 시연한다.

제안 방법

• 차량 노드와 맵 노드로 구성된 방향성 이질 그래프를 구성하여 상호작용을 모델링한다.
• RNN 인코더로 차량 이력을, CNN 인코더로 맵 맥락을 인코딩한다.
• 그래프에서 고수준 상호작용 특징을 추출하기 위해 GNN 인코더를 적용한다.
• 상호작용 특징과 대상의 연속 특징을 연결하여 RNN 디코더로 예측 타깃 궤적을 디코딩한다.

실험 결과

연구 질문

• RQ1 이질 그래프로 차량-인프라 상호작용을 모델링하는 것이 차량 전용 그래프보다 궤적 예측을 개선할 수 있는가?
• RQ2 다양한 인코더 선택(RNN, CNN, GNN 변형)이 예측 정확도와 확장성에 어떤 영향을 미치는가?
• RQ3 역추적 수평선과 예측 수평선이 모델 성능에 미치는 영향은 무엇인가?
• RQ4 제안된 이질 그래프 방식이 INTERACTION 데이터셋에서 최첨단 상호작용 인식 방법을 능가하는가?

주요 결과

방법	ADE (m) - 검증	FDE (m) - 검증	ADE (m) - 테스트	FDE (m) - 테스트
DESIRE	0.32	0.88	-	-
MultiPath	0.30	0.99	-	-
TNT	0.21	0.67	-	-
R	0.2527	0.9000	0.4508	1.4702
GR	0.2098	0.7202	0.3559	1.1715
ReCoG	0.1919	0.6462	0.3940	0.?255
(GH)	0.1919	0.6462	0.3940	1.2555

• 이질 그래프를 사용하는 ReCoG는 여러 입력 구성에 대해 동질 그래프 기반의 베이스라인을 능가한다.
• GAT를 GNN에, GRU를 RNN 인코더에 사용한 조합이 테스트된 조합 중 최상의 성능을 보였다.
• 확장성: 인코더가 분리되어 새 아키텍처로 그래프 기반 코어를 재설계 없이 교체할 수 있다.
• 갱신성: GNN 변형(GAT 대 GCN)과 RNN 변형(GRU 대 LSTM)이 이 설정에서 일반적으로 최상의 성능을 보인다.
• INTERACTION 검증/테스트 세트에서 ReCoG가 여러 베이스라인보다 ADE/FDE가 가장 낮으며, 확장된 학습 설정의 방법이 NeurIPS 2020 대회 INTERPRET를 우승했다.