[논문 리뷰] LatentFormer: Multi-Agent Transformer-Based Interaction Modeling and Trajectory Prediction

Elmira Amirloo, Amir Rasouli외 3명|arXiv (Cornell University)|2022. 03. 03.

Autonomous Vehicle Technology and Safety인용 수 13

한 줄 요약

LatentFormer는 계층적 트랜스포머 아키텍처를 사용하여 향후 상태에 대해 순차적으로 참조함으로써 다중 에이전트 간의 상호작용을 종합적으로 모델링하는 다중 에이전트 궤적 예측 모델을 제안한다. 동시에 비전 트랜스포머를 통한 다중 해상도 지도 인코딩을 통합한다. 이는 nuScenes 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전 방법 대비 궤적 메트릭에서 최대 40% 향상된다.

ABSTRACT

Multi-agent trajectory prediction is a fundamental problem in autonomous driving. The key challenges in prediction are accurately anticipating the behavior of surrounding agents and understanding the scene context. To address these problems, we propose LatentFormer, a transformer-based model for predicting future vehicle trajectories. The proposed method leverages a novel technique for modeling interactions among dynamic objects in the scene. Contrary to many existing approaches which model cross-agent interactions during the observation time, our method additionally exploits the future states of the agents. This is accomplished using a hierarchical attention mechanism where the evolving states of the agents autoregressively control the contributions of past trajectories and scene encodings in the final prediction. Furthermore, we propose a multi-resolution map encoding scheme that relies on a vision transformer module to effectively capture both local and global scene context to guide the generation of more admissible future trajectories. We evaluate the proposed method on the nuScenes benchmark dataset and show that our approach achieves state-of-the-art performance and improves upon trajectory metrics by up to 40%. We further investigate the contributions of various components of the proposed technique via extensive ablation studies.

연구 동기 및 목표

• 자율주행에서 정확하고 다양한, 허용 가능한 다중 에이전트 궤적 예측을 해결하기 위해.
• 과거 궤적 외에도 예측된 향후 상태에 조건을 두어 에이전트 간의 동적 상호작용을 모델링하기 위해.
• 비전 트랜스포머 기반의 다중 해상도 인코딩 기반의 국소 및 글로벌 지도 표현을 융합하여 장면 맥락 이해를 향상시키기 위해.
• 과거 궤적과 지도 특징에 기반한 CVAE 프레임워크를 통해 에이전트 의도를 추론함으로써 다중 모달 예측을 가능하게 하기 위해.
• 계산 효율성과 예측 품질 사이의 트레이드오���을 평가하기 위해 순차적 및 비순차적 추론 간의 상호작용을 분석하기 위해.

제안 방법

• 예측된 에이전트 상태가 과거 관측치와 장면 맥락에 대한 믿음을 업데이트하는 데 쿼리로 사용되는 계층적 어텐션 메커니즘을 사용한다.
• 향후 상태 예측을 순차적으로 통합하여 갈등을 해결하고 일관성을 향상시키는 새로운 상호작용 모델링 모듈을 도입한다.
• 국소 및 글로벌 지도 패치를 추출하는 다중 해상도 지도 인코딩 체계를 구현하며, 이를 비전 트랜스포머로 처리하여 위치 불변성 편향을 감소시킨다.
• 에이전트 상태와 동적으로 정렬된 지도 표현을 통해 디코딩 중 에이전트-환경 상호작용을 모델링한다.
• 조건부 변동 자동인코더(CVAE) 프레임워크를 사용하여 이산적 에이전트 의도를 추론함으로써 다중 모달 궤적 생성을 가능하게 한다.
• 순차적 및 비순차적 디코딩 모드를 모두 지원하며, 후자는 더 빠른 병렬 추론을 가능하게 하여 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 디코딩 중 향후 에이전트 상태를 모델링하면 다중 에이전트 궤적 예측의 일관성과 정확도가 향상되는가?
• RQ2 비전 트랜스포머 기반의 다중 해상도 지도 인코딩 체계는 전통적인 CNN 기반 지도 인코더에 비해 장면 맥락을 얼마나 잘 포착하는가?
• RQ3 모든 에이전트를 별도로가 아니라 함께 예측할 경우 궤적 품질과 다양성은 얼마나 향상되는가?
• RQ4 예측 정확도와 계산 효율성 측면에서 순차적 및 비순차적 추론 간의 트레이드오프는 어떠한가?
• RQ5 개별 구성 요소인 상호작용 모델링, 지도 인코딩, 의도 추론은 전체 성능에 얼마나 기여하는가?

주요 결과

• LatentFormer는 nuScenes 벤치마크에서 최신 기술 수준 성능을 달성하며, minADE를 0.38 감소시키고 avgFDE를 1.81 감소시켜 기준 모델 대비 최대 40% 향상된다.
• 지도 인코딩 및 상호작용 모델링 모듈의 통합은 성능 향상에 크게 기여하며, 다중 해상도 비전 트랜스포머 지도 인코더는 메트릭을 최대 30% 향상시킨다.
• 순차적 디코딩 모드가 비순차적 버전보다 우수하며, minADE는 0.38 대비 0.42를 기록하지만, 후자는 더 빠른 병렬 추론을 가능하게 한다.
• 제거 실험 결과 상호작용 모델링이 상당한 기여를 하며, 상호작용 모델링이 없는 모델 대비 avgFDE가 0.75 포인트 향상된다.
• 모델은 다양한, 허용 가능한 궤적을 성공적으로 생성하며, 다양한 주행 시나리오에서의 정성적 결과를 통해 장면 제약 조건과 에이전트 역학을 존중함을 입증한다.
• CVAE 기반 의도 모델링은 효과적인 다중 모달 예측을 가능하게 하며, 교차로에서 회전하거나 직진하는 등 현실적인 대체 행동을 생성할 수 있다.