[논문 리뷰] GraphTCN: Spatio-Temporal Interaction Modeling for Human Trajectory Prediction

Chengxin Wang, Shaofeng Cai외 1명|arXiv (Cornell University)|2020. 03. 16.

Autonomous Vehicle Technology and Safety참고 문헌 56인용 수 4

한 줄 요약

GraphTCN는 공간 상호작용을 위한 엣지 특징 기반 그래프 어텐션 네트워크(EFGAT)와 시간 동역학을 위한 게이트드 타임리얼 컨volution 네트워크(TCN)를 사용하는 새로운 CNN 기반의 시공간 그래프 네트워크를 제안한다. 이는 이전 방법보다 평균 이격 오차가 19.4% 낮고 추론 속도가 5.22배 빠르며 예측 경로 수를 5배 줄여 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Predicting the future paths of an agent's neighbors accurately and in a timely manner is central to the autonomous applications for collision avoidance. Conventional approaches, e.g., LSTM-based models, take considerable computational costs in the prediction, especially for the long sequence prediction. To support more efficient and accurate trajectory predictions, we propose a novel CNN-based spatial-temporal graph framework GraphTCN, which models the spatial interactions as social graphs and captures the spatio-temporal interactions with a modified temporal convolutional network. In contrast to conventional models, both the spatial and temporal modeling of our model are computed within each local time window. Therefore, it can be executed in parallel for much higher efficiency, and meanwhile with accuracy comparable to best-performing approaches. Experimental results confirm that our model achieves better performance in terms of both efficiency and accuracy as compared with state-of-the-art models on various trajectory prediction benchmark datasets.

연구 동기 및 목표

• 실시간 자율 응용 분야에서 RNN 기반 궤적 예측 모델의 높은 계산 비용과 느린 추론 속도 문제를 해결하기 위해.
• 에이전트 간 상호작용을 모델링하기 위해 상대적 공간 동역학과 비대칭 영향을 통합함으로써 사회적 상호작용을 향상시키기 위해.
• 병렬 추론이 가능하면서도 높은 정확도를 유지할 수 있도록 완전히 피드포워드 아키텍처를 개발하기 위해.
• 기본 데이터셋에서 최신 기술 수준의 방법에 비해 예측 오차와 추론 시간을 줄이기 위해.

제안 방법

• GraphTCN는 노드가 에이전트를 나타내고, 엣지는 엣지 특징을 사용하여 상대적 공간 관계를 인코딩하는 그래프 구조를 사용한다.
• 상대적 이동 추세와 근접도를 바탕으로 적응형 어텐션 가중치를 학습하는 엣지 특징 기반 그래프 어텐션 네트워크(EFGAT)를 도입한다.
• 장기적인 시퀀스 동역학을 효율적으로 캡처하기 위해 하이웨이 연결을 갖춘 게이트드 TCN(타임리얼 컨volution 네트워크)을 사용하여 시간 모델링을 수행한다.
• 모델은 국소적인 시간 윈도우 내에서 공간적 및 시간적 상호작용을 처리하여 병렬 계산과 높은 추론 속도를 가능하게 한다.
• EFGAT와 TCN의 스킵 연결 및 게이트 메커니즘은 학습 안정성 향상과 기울기 흐름 개선에 기여한다.
• 엔드 투 엔드로 훈련 가능한 프레임워크이며 자원 제약이 있는 장치에서의 실시간 배포를 위해 설계되어 있다.

실험 결과

연구 질문

• RQ1 완전히 피드포워드 아키텍처가 RNN 기반 모델보다 궤적 예측 정확도는 높이고 추론 속도는 크게 향상시킬 수 있는가?
• RQ2 그래프 어텐션 메커니즘에서 상대적 공간 동역학(예: 방향, 속도)을 엣지 특징으로 효과적으로 모델링할 수 있는가?
• RQ3 상호작용하는 에이전트 간 비대칭 어텐션은 복잡한 군중 상황에서 예측 품질을 향상시키는가?
• RQ4 국소 윈도우 기반의 시공간 처리 방식은 정확도를 유지하면서도 병렬 추론을 가능하게 하는가?

주요 결과

• GraphTCN는 기준 데이터셋에서 최신 기술 수준의 모델 대비 평균 이격 오차를 19.4% 감소시키고 최종 이격 오차를 13.6% 감소시켰다.
• 기존 솔루션 대비 최대 5.22배의 월클록 타임 속도 향상을 달성하여 자원이 제한된 장치에서 실시간 배포가 가능하다.
• 예측 경로 수가 5개뿐이지만 20개의 경로를 생성하는 모델보다도 뛰어난 성능을 보이며 더 높은 샘플 효율성을 나타낸다.
• 시각화 결과, 복잡한 상황(예: 보행자 통합 또는 정면에서 오는 방향)에서도 더 정확하고 충돌이 없으며 사회적으로 타당한 궤적을 생성함을 확인할 수 있었다.
• EFGAT는 실제 상호작용 동역학을 반영한 비대칭 어텐션 가중치를 학습하며, 예를 들어 만남 또는 더 빠르게 이동하는 에이전트의 영향력이 높아지는 것을 보여준다.
• 모델은 돌연한 방향 전환과 같은 예상치 못한 행동을 포함해 다양한 실현 가능한 미래 경로를 생성하며 예측 성능을 성공적으로 수행한다.