[논문 리뷰] Multi-modal Motion Prediction with Transformer-based Neural Network for Autonomous Driving

Zhiyu Huang, Xiaoyu Mo외 1명|arXiv (Cornell University)|2021. 09. 14.

Autonomous Vehicle Technology and Safety인용 수 4

한 줄 요약

이 논문은 다중 모달 주의(multi-modal attention)를 사용하여 다양한 에이전트-맵 상호작용을 포착하는 트랜스포머 기반 운동 예측 모델을 제안한다. 각 궤적에 대해 다중 헤드 주의를 독립적인 주의 모드로 수정함으로써, Argoverse 벤치마크에서 최신 기술 수준의 정확도를 달성하면서도 컴act하고 해석 가능한 아키텍처를 구현한다.

ABSTRACT

Predicting the behaviors of other agents on the road is critical for autonomous driving to ensure safety and efficiency. However, the challenging part is how to represent the social interactions between agents and output different possible trajectories with interpretability. In this paper, we introduce a neural prediction framework based on the Transformer structure to model the relationship among the interacting agents and extract the attention of the target agent on the map waypoints. Specifically, we organize the interacting agents into a graph and utilize the multi-head attention Transformer encoder to extract the relations between them. To address the multi-modality of motion prediction, we propose a multi-modal attention Transformer encoder, which modifies the multi-head attention mechanism to multi-modal attention, and each predicted trajectory is conditioned on an independent attention mode. The proposed model is validated on the Argoverse motion forecasting dataset and shows state-of-the-art prediction accuracy while maintaining a small model size and a simple training process. We also demonstrate that the multi-modal attention module can automatically identify different modes of the target agent's attention on the map, which improves the interpretability of the model.

연구 동기 및 목표

• 동적 교통 환경에서 자율주행 차량과 주변 에이전트 간의 복잡하고 다중 모달 상호작용을 모델링하는 도전 과제를 해결한다.
• 특히 다중 행동 의도가 있는 상황에서, 대상 에이전트가 다양한 맵 웨이포인트에 주의를 기울이는 것을 명시적으로 모델링하여 궤적 예측 정확도를 향상시킨다.
• 에이전트가 특정 맵 세그먼트(예: 회전 차선, 직진 경로 등)를 자동으로 식별하고 조건화할 수 있도록 주의 메커니즘을 통해 모델의 해석 가능성을 향상시킨다.
• 최소한의 학습 복잡성으로도 높은 성능을 유지하면서도 경량이고 효율적인 아키텍처를 개발한다.
• 맵 표현 방식(차선 대비 웨이포인트)과 주의 메커니즘 설계가 예측 성능와 해석 가능성에 미치는 영향을 조사한다.

제안 방법

• 고해상도 맵 표현을 위해 각 차선을 공간 웨이포인트의 시퀀스로 인코딩하는 웨이포인트 기반 벡터 맵을 사용하여 주행 환경을 표현한다.
• 에이전트 간의 상호작용을 그래프 기반 구조로 모델링하며, 각 에이전트를 대상 에이전트와 연결된 노드로 간주하고, 관계적 특징을 추출하기 위해 다중 헤드 자기주의 트랜스포머 인코더를 적용한다.
• 기존의 다중 헤드 주의를 대체하여 각 주의 헤드를 독립적인 모드로 간주하고, 각각 별개의 예측 궤적을 조건화하는 새로운 다중 모달 주의 메커니즘을 도입한다.
• 예측 궤적이 진짜 값에 가장 가까운 주의 헤드만 업데이트하도록 하는 손실 함수를 사용하여, 예측 모드 간의 다양성을 유지한다.
• 시간적 및 공간적 일관성을 확보하기 위해 공유된 위치 인코딩을 사용하는 두 개의 크로스 주의 트랜스포머 레이어를 적용한다: 하나는 에이전트-에이전트 상호작용 모델링을 위해, 다른 하나는 에이전트-맵 주의를 위해.
• 최종 다중 모달 주의 레이어의 은닉 상태에서 미래 궤적을 생성하기 위해 단순한 궤적 디코더 헤드를 적용한다.

실험 결과

연구 질문

• RQ1 기존의 다중 헤드 주의와 비교해 복잡한 다중 모달 운동 예측 정확도를 향상시키기 위해 트랜스포머 기반 아키텍처에서 다중 모달 주의 메커니즘을 수정할 수 있는가?
• RQ2 웨이포인트 수준의 맵 표현 방식이 차선 수준의 표현 방식보다 예측 정확도와 정보 유지 측면에서 어떻게 비교되는가?
• RQ3 개별 주의 헤드의 주의 점수를 특정 맵 세그먼트(예: 회전 차선)에 대한 모델의 집중도로 해석할 수 있는 정도는 어느 정도인가?
• RQ4 기존 최신 기술 수준의 모델들과 비교해 더 단순한 학습 과정과 더 작은 모델 크기로도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 제안된 다중 모달 주의 메커니즘이 복잡한 도심 주행 환경에서 예측 궤적의 다양성과 정확성에 어떻게 기여하는가?

주요 결과

• 제안된 모델은 비교된 모든 방법들 중에서 Argoverse 테스트 세트에서 가장 낮은 minADE(0.8372 m)와 minFDE(1.2905 m)를 기록하여 뛰어난 궤적 예측 정확도를 입증한다.
• 해석 가능성 향상: 시각화 결과 주의 헤드가 자연스럽게 관련 맵 웨이포인트에 집중하는 것으로 나타났다—예를 들어 왼쪽으로 도는 예측 시 왼쪽 회전 차선에 집중함—이로써 모델이 의미 있는 행동 의도를 학습하고 있음을 확인한다.
• 웨이포인트 수준의 맵 표현 방식을 사용할 경우 차선 수준의 표현보다 더 높은 성능을 보이며, 정보 손실 감소와 맵 특징의 해상도 향상에 기여한다.
• 다중 모달 주의 메커니즘이 앙상블 기반의 다중 모달 예측 방법보다 유의미하게 뛰어나며(minADE: 0.8372 vs. 0.8512), 다양한 행동을 효과적으로 모델링할 수 있음을 시사한다.
• 최신 기술 수준의 정확도를 달성함에도 불구하고, 모델은 작고 단순한 학습 과정을 유지하며, 단지 두 개의 크로스 주의 트랜스포머 레이어만을 사용하여 빠른 추론과 더 쉬운 구현을 가능하게 한다.
• 모델의 brier-minFDE(1.9393)와 미스 레이트(0.1429)는 HOME [24]보다 略로 떨어지지만, 이는 손실 함수가 미스 레이트 최적화를 위해 설계되지 않았기 때문이며, 아키텍처의 근본적 한계는 아니다.