[논문 리뷰] Multimodal Motion Prediction with Stacked Transformers

Yicheng Liu, Jinghuai Zhang외 3명|arXiv (Cornell University)|2021. 03. 22.

Autonomous Vehicle Technology and Safety참고 문헌 36인용 수 21

한 줄 요약

이 논문은 고정된 궤적 제안과 영역 기반 학습 전략을 사용하여 다양성과 정확도를 향상시키는 스택드 트랜스포머 기반 모델인 mmTransformer를 제안한다. 계층적 어텐션을 통해 제안을 정밀하게 다듬고 각 제안을 특정 공간 영역에 특화시켜 학습시킴으로써, Argoverse 벤치마크에서 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Predicting multiple plausible future trajectories of the nearby vehicles is crucial for the safety of autonomous driving. Recent motion prediction approaches attempt to achieve such multimodal motion prediction by implicitly regularizing the feature or explicitly generating multiple candidate proposals. However, it remains challenging since the latent features may concentrate on the most frequent mode of the data while the proposal-based methods depend largely on the prior knowledge to generate and select the proposals. In this work, we propose a novel transformer framework for multimodal motion prediction, termed as mmTransformer. A novel network architecture based on stacked transformers is designed to model the multimodality at feature level with a set of fixed independent proposals. A region-based training strategy is then developed to induce the multimodality of the generated proposals. Experiments on Argoverse dataset show that the proposed model achieves the state-of-the-art performance on motion prediction, substantially improving the diversity and the accuracy of the predicted trajectories. Demo video and code are available at https://decisionforce.github.io/mmTransformer.

연구 동기 및 목표

• 자율주행 환경에서 데이터 부족과 불확실성 하에 다수의 타당한 미래 궤적을 학습하는 문제를 해결하기 위해.
• 모드 붕괴와 히우리스틱 앵커에 의존하는 등의 문제점을 해결하기 위해 확률적 및 제안 기반 방법의 한계를 극복하기 위해.
• 사전 정의된 사전 지식에 의존하지 않고 특징 수준에서 다중모드를 명시적으로 모델링할 수 있는 딥 러닝 프레임워크를 설계하기 위해.
• 학습 중에 영역별 학습을 강제하여 각 예측 제안이 서로 다른 모드에 특화되도록 보장하기 위해.

제안 방법

• 모델는 과거 궤적, 도로 구조, 사회적 상호작용의 맥락적 특징를 계층적으로 통합하기 위해 다수의 인코더-디코더 모듈을 포함한 스택드 트랜스포머 아키텍처를 사용한다.
• 궤적 제안은 무작위로 초기화되며, 다중 헤드 자기어텐션 및 크로스어텐션 메커니즘을 통해 정밀화되어 다양한 예측을 생성한다.
• 영역 기반 학습 전략(RTS)은 주변 공간을 M개의 영역으로 분할하고, 각 제안을 하나의 영역에 할당하며, 학습 시에는 진짜 라벨이 속한 영역의 제안만 최적화한다.
• 각 제안은 피드포워드 네트워크를 통해 신뢰도 점수와 연관되며, 올바른 영역에 속한 제안에 대해 높은 점수를 얻도록 분류 손실이 적용된다.
• 모델는 공간적 위치 인코딩과 Xavier 초기화를 사용하며, 수평 반전 및 초기 궤적 단계의 마스킹을 통한 데이터 증강을 적용한다.
• 추론 시에는 신뢰도 점수와 IoU 임계값을 기반으로 겹치는 궤적을 비최대 억제(NMS) 기법으로 필터링한다.

실험 결과

연구 질문

• RQ1 고정된 독립적인 궤적 제안에서 학습함으로써 트랜스포머 기반 아키텍처가 다중모드 운동 예측을 효과적으로 모델링할 수 있는가?
• RQ2 한 장면당 하나의 진짜 라벨 뿐이지만, 각 제안이 서로 다른 모드를 학습하도록 보장하기 위해 어떤 학습 전략을 설계할 수 있는가?
• RQ3 기존 학습 파라다임과 비교해 볼 때, 영역 기반 학습이 예측 궤적의 다양성과 정확도를 향상시키는가?
• RQ4 스택드 트랜스포머는 복잡한 주행 환경에서 장거리 의존성과 맥락적 상호작용을 효과적으로 포착할 수 있는가?
• RQ5 제안된 방법이 실제 벤치마크에서 기존의 확률적 및 제안 기반 접근 방식을 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 2020년 11월 16일 기준으로 제안된 mmTransformer는 Argoverse 운동 예측 랭킹에서 1위를 기록하여 최신 기술 수준의 성능을 입증하였다.
• 영역 기반 학습 전략은 모드 커버리지에 크게 기여하였으며, M=N=6일 경우 85.3%의 예측이 정확한 영역에 포함되었다.
• MR 행렬의 대각선에서 최소 12.1%의 누락 비율을 기록하여, 제안이 할당된 영역에 잘 특화되어 있음을 나타낸다.
• 제거 분석 결과, 영역 기반 학습 전략은 표준 학습 대비 평균 이격 오차를 12.4% 향상시켰다.
• 강력한 특징 통합과 제안 특화 기능 덕분에 복잡한 교차로 및 고밀도 교통 상황을 포함한 다양한 시나리오에서도 높은 성능을 유지하였다.