[논문 리뷰] S2TNet: Spatio-Temporal Transformer Networks for Trajectory Prediction in Autonomous Driving

Weihuang Chen, Fangfang Wang외 1명|arXiv (Cornell University)|2022. 06. 22.

Autonomous Vehicle Technology and Safety인용 수 13

한 줄 요약

S2TNet는 자율주행에서 궤적 예측을 위한 시공간 트랜스포머 네트워크를 제안하며, 자기주의 메커니즘을 통해 모든 교통 참가자 간의 장거리 공간적 상호작용과 시간적 의존성을 모델링한다. 이는 아폴로스케이프 데이터셋에서 기존 방법보다 WSFDE 기준 7.2% 향상되고, WSFDE 기준 7.7% 향상되어 최신 기술 수준을 달성한다. 이는 이질적인 교통 참가자를 다루기 위해 카테고리, 형태, 방향 특징을 통합함으로써 달성된다.

ABSTRACT

To safely and rationally participate in dense and heterogeneous traffic, autonomous vehicles require to sufficiently analyze the motion patterns of surrounding traffic-agents and accurately predict their future trajectories. This is challenging because the trajectories of traffic-agents are not only influenced by the traffic-agents themselves but also by spatial interaction with each other. Previous methods usually rely on the sequential step-by-step processing of Long Short-Term Memory networks (LSTMs) and merely extract the interactions between spatial neighbors for single type traffic-agents. We propose the Spatio-Temporal Transformer Networks (S2TNet), which models the spatio-temporal interactions by spatio-temporal Transformer and deals with the temporel sequences by temporal Transformer. We input additional category, shape and heading information into our networks to handle the heterogeneity of traffic-agents. The proposed methods outperforms state-of-the-art methods on ApolloScape Trajectory dataset by more than 7\% on both the weighted sum of Average and Final Displacement Error. Our code is available at https://github.com/chenghuang66/s2tnet.

연구 동기 및 목표

• 이질적인 교통 참가자 간의 복잡한 시공간 상호작용을 모델링하는 데에 기존 LSTM 기반 방법의 한계를 해결하기 위해.
• 이전 방법에서 공간 이웃만 고려하는 제약을 극복하기 위해 모든 참가자 간의 장거리 공간적 의존성을 포괄적으로 캡처하기 위해.
• 혼합된 교통 참가자가 존재하는 밀도 높고 동적인 도심 환경에서 장기 궤적 예측 정확도를 향상시키기 위해.
• 다양한 모odal 특징(카테고리, 형태, 방향)을 통합하여 교통 참가자의 이질성을 더 잘 표현하기 위해.
• 새로운 트랜스포머 기반 아키텍처를 통해 아폴로스케이프 궤적 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 시공간 트랜스포머는 공간 자기주의를 사용하여 모든 교통 참가자 간의 상호작용을 모델링하며, 공간 이웃에 국한되지 않아 장거리 공간 의존성을 포괄적으로 캡처할 수 있다.
• 시간 컨볼루션 네트워크(TCN)는 시퀀스 궤적에서 시간적 특징을 추출하며, 이후 시공간 트랜스포머에서 공간 특징과 융합된다.
• 트랜스포머 디코더 내부의 시간 자기주의는 시간 표현을 정교화하고 자동 회귀적으로 향후 궤적을 생성한다.
• 모델은 추가적인 특징(카테고리, 형태, 방향, 전역 좌표)을 통합하여 이질적인 교통 참가자를 효과적으로 표현한다.
• 마스크된 자기주의 메커니즘을 사용하여 공간적 제한의 영향을 평가하였으며, 전체 영역에 대한 자기주의가 성능 향상에 기여하는 것으로 나타났다.
• 시간 트랜스포머의 피드포워드 네트워크에서 분리형 컨볼루션을 사용하였으며, 아블레이션 연구에서 완전 연결층보다 성능이 뛰어나다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 아키텍처가 근처 참가자 외의 이질적인 교통 참가자 간의 장거리 공간적 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 시간 자기주의 통합이 순환 또는 컨볼루션 모델 대비 장기 궤적 예측 성능 향상에 기여하는 정도는 어떠한가?
• RQ3 추가적인 참가자 고유 특징(카테고리, 형태, 방향)이 이질적인 교통 환경에서 예측 정확도 향상에 얼마나 기여하는가?
• RQ4 공간 자기주의에서 전체 시나리오를 고려하는 것이 국한된 공간 창(예: 15m)에 제한된 경우보다 더 나은 성능을 내는가?
• RQ5 실제로 밀도 높은 도심 궤적 예측 벤치마크에서 제안된 시공간 트랜스포머 아키텍처는 기존 최신 기술 수준 방법과 비교해 어떻게 성능을 냈는가?

주요 결과

• S2TNet는 이전 최신 기술 수준 방법인 GRIP++ 대비 가중합 final 이격 오차(WSFDE) 기준 7.2% 상대적 향상을 달성하였다.
• 모델은 아폴로스케이프 궤적 데이터셋에서 가중합 평균 이격 오차(WSADE)를 7.7% 감소시켜 뛰어난 일반화 능력을 입증하였다.
• 아블레이션 연구 결과, 공간 및 시간 자기주의 서브레이어를 모두 포함한 전체 시공간 트랜스포머가 가장 높은 성능을 보였다.
• 시간 트랜스포머 인코더를 제거할 경우 성능 저하가 심각하게 발생하여 장기 시간 의존성 캡처에 있어 핵심적인 역할을 함을 시사한다.
• 시간 트랜스포머에서 완전 연결층 대신 분리형 컨볼루션을 사용할 경우 WSADE 기준 0.025 향상되었다.
• 좌표 외에 카테고리, 형태, 방향 등의 전체 참가자 특징을 통합할 경우 예측 정확도가 향상되어 이질성 모델링의 중요성을 입증한다.