[논문 리뷰] Spatial-Channel Transformer Network for Trajectory Prediction on the Traffic Scenes

Jingwen Zhao, Xuanpeng Li외 2명|arXiv (Cornell University)|2021. 01. 27.

Autonomous Vehicle Technology and Safety참고 문헌 19인용 수 10

한 줄 요약

이 논문은 실세계의 궤적 예측 벤치마크에서 궤적 예측을 위해 교통 환경에서의 에이전트 간 공간-시간적 의존성과 사회적 상호작용을 모델링하기 위해 자기주의 주의 메커니즘을 활용하는 공간-채널 트랜스포머 네트워크(SCTN)를 제안한다. 채널별 주의 모듈을 통합하여 에이전트 간 상호작용을 포착하고, RNN을 트랜스포머로 대체함으로써 SCTN은 실세계 궤적 예측 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Predicting motion of surrounding agents is critical to real-world applications of tactical path planning for autonomous driving. Due to the complex temporal dependencies and social interactions of agents, on-line trajectory prediction is a challenging task. With the development of attention mechanism in recent years, transformer model has been applied in natural language sequence processing first and then image processing. In this paper, we present a Spatial-Channel Transformer Network for trajectory prediction with attention functions. Instead of RNN models, we employ transformer model to capture the spatial-temporal features of agents. A channel-wise module is inserted to measure the social interaction between agents. We find that the Spatial-Channel Transformer Network achieves promising results on real-world trajectory prediction datasets on the traffic scenes.

연구 동기 및 목표

• 복잡하고 사회적으로 상호작용하는 궤적을 동적 교통 환경에서 예측하는 데 도전하는 것.
• 장기적인 시간적 의존성과 에이전트 간 상호작용을 포착하는 데 한계가 있는 RNN 기반 모델의 한계를 극복하는 것.
• 에이전트 간 공간적 및 채널별 상호작용을 명시적으로 모델링하는 새로운 트랜스포머 기반 아키텍처를 도입하는 것.
• 공간적 및 채널 차원에서 자기주의 주의 메커니즘을 활용하여 궤적 예측 정확도를 향상시키는 것.
• 다양한 에이전트 행동을 포함한 실세계 교통 궤적 데이터셋에서 제안된 모델의 효과성을 입증하는 것.

제안 방법

• 에이전트 궤적의 장기적인 시간적 의존성을 모델링하기 위해 기존 RNN을 트랜스포머 인코더로 대체한다.
• 에이전트의 공간적 위치와 채널 특징을 모두 고려하여 주의를 계산하는 공간-채널 주의 메커니즘을 도입한다.
• 궤적 시퀀스에 다중 헤드 자기주의 주의를 적용하여 에이전트 간의 동적 상호작용을 포착한다.
• 사회적 상호작용을 측정하고 가중치를 매기기 위해 채널별 주의를 사용하여 에이전트 관계 모델링을 향상시킨다.
• 순서 유지를 위해 위치 인코딩을 사용하여 공유된 트랜스포머 인코더를 통해 에이전트 특징을 처리한다.
• 평균 제곱오차 손실을 사용하는 시퀀스-투-시퀀스 예측 목표로 끝에서 끝까지 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 복잡한 교통 환경에서 궤적 예측에 대해 트랜스포머 기반 아키텍처가 RNN 기반 모델을 능가할 수 있는가?
• RQ2 공간-채널 주의는 다수의 에이전트 간 사회적 상호작용을 얼마나 효과적으로 포착할 수 있는가?
• RQ3 채널별 주의의 통합이 표준 주의 메커니즘에 비해 궤적 예측 정확도를 향상시키는가?
• RQ4 다양한 에이전트 행동을 포함한 실세계 교통 궤적 데이터셋에서 모델의 일반화 능력은 어느 정도인가?
• RQ5 제안된 아키텍처는 안정적인 성능을 유지하면서 장기 예측 궤적을 처리할 수 있는가?

주요 결과

• 공간-채널 트랜스포머 네트워크는 실세계 궤적 예측 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 특히 장기 예측 궤적 예측에서 RNN 기반 기준 모델보다 예측 정확도에서 뛰어난 성능을 보인다.
• 채널별 주의의 통합이 에이전트 간 사회적 상호작용 모델링에 상당한 기여를 한다.
• 트랜스포머 기반 아키텍처는 에이전트 운동 시퀀스의 장기적인 시간적 의존성을 효과적으로 포착한다.
• 다양한 교통 환경에서 복잡한 에이전트 상호작용을 처리하는 데 있어 모델은 강건성과 일반화 능력을 보인다.
• 정량적 결과는 표준 데이터셋에서 이전 방법에 비해 평균 이동 오차와 최종 이동 오차가 향상되었음을 보여준다.