[논문 리뷰] Spectral Temporal Graph Neural Network for Trajectory Prediction

Defu Cao, Jiachen Li외 2명|arXiv (Cornell University)|2021. 06. 05.

Autonomous Vehicle Technology and Safety참고 문헌 43인용 수 4

한 줄 요약

이 논문은 다중 에이전트 궤적 예측을 위한 새로운 프레임워크인 스펙트럴 시간 그래프 신경망(SpecTGNN)을 제안한다. SpecTGNN는 시간 영역과 주파수 영역에서 공간-시간 상관관계를 동시에 모델링한다. 에이전트 및 환경 그래프에 그래프 푸리에 변환, 스펙트럴 그래프 컨볼루션, 시간적 게이트드 컨볼루션을 통합함으로써 SDD 및 nuScenes 데이터셋에서 최신 기준(SOTA) 성능을 달성하며, SOTA 기준 대비 minFDE를 8.1% 감소시킨다.

ABSTRACT

An effective understanding of the contextual environment and accurate motion forecasting of surrounding agents is crucial for the development of autonomous vehicles and social mobile robots. This task is challenging since the behavior of an autonomous agent is not only affected by its own intention, but also by the static environment and surrounding dynamically interacting agents. Previous works focused on utilizing the spatial and temporal information in time domain while not sufficiently taking advantage of the cues in frequency domain. To this end, we propose a Spectral Temporal Graph Neural Network (SpecTGNN), which can capture inter-agent correlations and temporal dependency simultaneously in frequency domain in addition to time domain. SpecTGNN operates on both an agent graph with dynamic state information and an environment graph with the features extracted from context images in two streams. The model integrates graph Fourier transform, spectral graph convolution and temporal gated convolution to encode history information and forecast future trajectories. Moreover, we incorporate a multi-head spatio-temporal attention mechanism to mitigate the effect of error propagation in a long time horizon. We demonstrate the performance of SpecTGNN on two public trajectory prediction benchmark datasets, which achieves state-of-the-art performance in terms of prediction accuracy.

연구 동기 및 목표

• 자율주행 및 로봇 공학에서 흔한 복잡하고 상호작용적인 환경에서 장기 궤적 예측 정확도를 향상시키기 위해.
• 이전 방법들이 시간 영역 동역학에만 집중하는 한계를 보완하기 위해 주파수 영역 표현을 통합함으로써.
• 스펙트럴 그래프 컨볼루션을 통해 이중 그래프(에이전트 및 환경)를 사용해 에이전트 간 상호작용과 환경적 맥락을 동시에 모델링하기 위해.
• 다중 헤드 공간-시간 어텐션 메커니즘을 통해 장기 예측에서 오차 전파를 억제하기 위해.
• 그래프 신경망에서 주파수 영역 모델링의 효과성을 입증하기 위해.

제안 방법

• SpecTGNN는 이중 그래프 아키텍처를 사용한다: 동적 상태 특징을 사용하는 에이전트 그래프와 CNN으로 추출한 이미지 특징을 사용하는 환경 그래프.
• 시간 궤적을 주파수 표현으로 변환하기 위해 그래프 푸리에 변환(GFT)을 적용하여 보다 압축되고 정보량이 많은 스펙트럴 모델링을 가능하게 한다.
• 새로운 SpecTGNN 유닛이 에이전트 및 환경 그래프 양쪽에 스펙트럴 그래프 컨볼루션을 수행하여 상호 에이전트 간 및 장면 수준의 상관관계를 포착한다.
• 시간 영역의 순차적 의존성을 모델링하기 위해 시간적 게이트드 컨볼루션(TCNN)을 사용하여 주파수 영역 학습을 보완한다.
• 다중 헤드 공간-시간 어텐션 메커니즘이 시간 단계에 따라 에이전트 중요도를 동적으로 가중하여 오차 전파를 억제한다.
• 환경 그래프 라플라시안은 이미지 특징에서 유도되어 맥락적 공간적 구조에 대한 스펙트럴 컨볼루션을 가능하게 한다.

실험 결과

연구 질문

• RQ1 시간 영역에만 국한된 접근 방식과 비교해 주파수 영역에서 시간 동역학을 모델링하는 것이 궤적 예측 정확도 향상에 기여하는가?
• RQ2 스펙트럴 그래프 컨볼루션은 다중 에이전트 상호작용에서 장거리 공간적 의존성을 포착하는 데 얼마나 효과적인가?
• RQ3 학습된 환경 그래프를 통해 환경 맥락을 통합하면 예측 성능 향상에 기여하는가?
• RQ4 다중 헤드 공간-시간 어텐션 메커니즘이 장기 예측에서 오차 누적 정도를 어느 정도 감소시키는가?
• RQ5 주파수 영역 표현이 궤적 예측에서 시간 영역 모델링과 보완적인 정보를 제공하는가?

주요 결과

• SpecTGNN는 SDD 및 nuScenes 벤치마크 데이터셋에서 모두 최신 기준(SOTA) 성능을 달성하며, 이전 SOTA 모델을 초월한다.
• nuScenes 데이터셋에서 SpecTGNN는 SOTA 기준인 STGAT 대비 minFDE를 8.1% 감소시켰다.
• 제거 실험 결과, 모든 구성 요소(TGConv, STAtt, 이미지 특징)가 필수적임을 확인하였으며, 이미지 입력은 기본 모델 대비 minADE를 11.2% 감소시키고 minFDE를 9.6% 감소시켰다.
• 예측 샘플 수(K)가 증가할수록 성능이 일관되게 향상되어 가설 집합 전반에 걸친 강건성과 일반화 능력을 보여준다.
• 정성적 결과에서 SpecTGNN는 복잡한 장면에서 회전, 정지, 차선 유지, 방향 전환 등의 다양한 행동을 정확히 예측하는 것으로 나타났다.