[논문 리뷰] Trajectory Forecasting on Temporal Graphs

Görkay Aydemir, Adil Kaan Akan외 1명|arXiv (Cornell University)|2022. 07. 01.

Autonomous Vehicle Technology and Safety인용 수 4

한 줄 요약

이 논문은 시간에 따라 변화하는 상호작용을 모델링하고, 개별 에이전트와 환경 요소 간의 동적 상호작용을 시간적으로 추적하기 위해 에이전트별 메모리 모듈과 전경역할 메모리 모듈을 통합한 시간적 그래프 신경망(TGN)을 제안한다. 시간에 따라 변화하는 그래프 표현을 학습하고 목표 조건 예측을 사용함으로써, Argoverse 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여 검증 및 테스트 세트에서 b-minFDE 2위, minADE 및 minFDE 3위 이내를 기록한다.

ABSTRACT

Predicting future locations of agents in the scene is an important problem in self-driving. In recent years, there has been a significant progress in representing the scene and the agents in it. The interactions of agents with the scene and with each other are typically modeled with a Graph Neural Network. However, the graph structure is mostly static and fails to represent the temporal changes in highly dynamic scenes. In this work, we propose a temporal graph representation to better capture the dynamics in traffic scenes. We complement our representation with two types of memory modules; one focusing on the agent of interest and the other on the entire scene. This allows us to learn temporally-aware representations that can achieve good results even with simple regression of multiple futures. When combined with goal-conditioned prediction, we show better results that can reach the state-of-the-art performance on the Argoverse benchmark.

연구 동기 및 목표

• 정적 그래프 표현이 교통 환경의 시간적 동역학을 포괄하지 못하는 한계를 해결하기 위해.
• 에이전트와 환경 요소 간의 시간에 따른 변화하는 상호작용을 모델링하여 운동 예측 성능을 향상시키기 위해.
• 에이전트 중심과 전체 환경에 중점을 둔 이중 메모리 메커니즘을 통해 예측 정확도와 다양성을 향상시키기 위해.
• 특정 지표 최적화 없이도 Argoverse 벤치마크에서 최신 기술 수준 성능을 달성하기 위해.

제안 방법

• 각 노드가 에이전트 또는 환경 요소를 나타내는 동적 시간 그래프를 구성하고, 시간적 상호작용에 따라 간선을 업데이트한다.
• 시간 축을 따라 시간에 따라 변화하는 표현을 명시적으로 모델링하면서 그래프 신경망을 사용해 노드 간 특징을 전파한다.
• 목표 에이전트의 역사적 패턴과 운동 패턴을 추적하기 위해 에이전트별 메모리 모듈을 도입한다.
• 전체 환경의 동적 특성과 장거리 의존성을 인코딩하기 위해 전경역할 메모리 모듈을 통합한다.
• 목표 조건 예측을 통해 다수의 미래 경로 가설을 생성하고, 환경 메모리와 운동 맥락에 기반해 예측을 정밀하게 조정한다.
• 간단한 다중 가설 회귀 손실을 사용하며, 훈련 중에는 가장 가까운 예측 경로에 대해서만 지도를 적용한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 시간적 그래프 표현이 동적 교통 환경에서의 운동 예측 성능을 향상시키는가?
• RQ2 에이전트 중심의 시간적 모델링과 비교해 전체 환경의 시간적 동역학을 모델링할 경우 예측 정확도와 다양성은 어떻게 영향을 받는가?
• RQ3 이중 메모리 모듈(에이전트별 및 전경역할)이 경로 예측 성능 향상에 어느 정도 기여하는가?
• RQ4 목표 조건 예측 헤드는 종단점 정확도를 희생시키지 않고 모드 커버리지를 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 Argoverse 테스트 세트에서 b-minFDE 1.08을 기록하여 모든 방법 중 2위를 달성한다.
• 검증 세트에서 minFDE 1.08과 minADE 0.73을 기록하여 두 지표 모두 상위 3개 이내에 진입한다.
• 검증 세트에서 MR 0.10을 기록하여 3위를 기록했으며, 이는 이 지표에 대해 최적화되지 않았음에도 불구하고 성과이다.
• 정성적 결과에서는 시간적 그래프 표현이 지도 기반 경로 추적과 더 나은 속도 추적 성능을 제공함을 보여주며, 특히 교차로에서 두드러진다.
• 목표 조건 예측이 모드 커버리지를 크게 향상시켜 좌회전과 우회전을 동시에 예측할 수 있게 하며, 단순 회귀 모델은 이를 놓친다.
• 제거 실험 결과 시간적 그래프 학습과 이중 메모리 모듈이 성능 향상에 필수적임을 확인한다.