[논문 리뷰] Golfer: Trajectory Prediction with Masked Goal Conditioning MnM Network

Xiaocheng Tang, Soheil Sadeghi Eshkevari외 4명|arXiv (Cornell University)|2022. 07. 02.

Autonomous Vehicle Technology and Safety인용 수 6

한 줄 요약

이 논문은 마스크된 목표 조건부 MnM(Mix and Match) 네트워크를 사용하여 자율주행차를 위한 새로운 궤도 예측 모델인 Golfer를 제안한다. 표준 어텐션을 효율적인 풀링 기반의 MnM 블록으로 대체하고 계층적 시나리오 인코딩과 마스크된 목표 조건부 처리를 적용함으로써 Golfer는 2022년 웨이모 오픈 데이터셋 궤도 예측 챌린지에서 minADE 1위, Soft mAP 2위의 최고 성능을 기록하였다.

ABSTRACT

Transformers have enabled breakthroughs in NLP and computer vision, and have recently began to show promising performance in trajectory prediction for Autonomous Vehicle (AV). How to efficiently model the interactive relationships between the ego agent and other road and dynamic objects remains challenging for the standard attention module. In this work we propose a general Transformer-like architectural module MnM network equipped with novel masked goal conditioning training procedures for AV trajectory prediction. The resulted model, named golfer, achieves state-of-the-art performance, winning the 2nd place in the 2022 Waymo Open Dataset Motion Prediction Challenge and ranked 1st place according to minADE.

연구 동기 및 목표

• 궤도 예측에서 동적 및 도로 객체와의 자동차 주행자 간 상호작용을 모델링하는 데 있어 표준 어텐션 메커니즘의 비효율성을 해결하기 위해.
• Transformer의 자기어텐션에 대한 더 효율적이고 표현력 있는 대체 방법을 개발하기 위해.
• 계층적 벡터 기반 시나리오 표현과 마스크된 목표 조건부 처리를 통해 궤도 예측 성능을 향상시키기 위해.
• 새로운 효율적인 아키텍처를 사용하여 웨이모 오픈 데이터셋 궤도 예측 챌린지에서 최고 성능을 달성하기 위해.
• 간단한 풀링 기반 연산이 궤도 모델링에서 어텐션 메커니즘의 성능을 따라하거나 초월할 수 있음을 입증하기 위해.

제안 방법

• 핵심 구성 요소는 토큰과 컨텍스트 벡터 간의 상호작용을 모델링하기 위해 '믹스' 연산(예: 최대 풀링)과 '매칭' 연산(예: 연결 또는 원소별 곱셈)을 사용하는 어텐션의 일반화된 MnM 블록이다.
• MnM 블록은 자동차와 도로 객체의 임베딩 시퀀스를 대상으로 하며, 이진 마스크를 사용하여 불완전하거나 부분적인 입력을 처리한다.
• 계층적 시나리오 인코딩은 도로 폴리라인과 자동차 궤적을 컨텍스트 벡터를 가진 점 시퀀스로 표현하여 다중 수준의 특징 추출을 가능하게 한다.
• 상호작용 모델링은 다중 헤드 MnM 블록을 통해 도로 폴리라인과 자동차 이력의 특징을 에고-자기 주행자 특징과 원소별 곱셈 및 최대 풀링을 사용해 집계한다.
• 에코더는 스택된 MnM 블록을 사용하여 국소적, 폴리라인 수준, 시나리오 수준의 특징을 추출하고 디코더용 잠재 특징 벡터를 생성한다.
• 디코더는 복수의 미래 궤도와 그 확률을 예측하기 위해 독립적인 MLP 분지들을 사용하며, 최종 출력은 가중치 기반 클러스터링(k-means)을 통해 조합되어 최종 예측을 도출한다.

실험 결과

연구 질문

• RQ1 풀링 기반의 어텐션 없는 아키텍처가 자율주행 차량 궤도 예측에서 표준 트랜스포머와 경쟁하거나 더 낫게 성능을 낼 수 있는가?
• RQ2 복잡한 도심 환경에서 이질적인 주행자들에게 마스크된 목표 조건부 처리가 궤도 예측 정확도 향상에 얼마나 효과적인가?
• RQ3 벡터 기반의 계층적 시나리오 표현이 래스터화된 또는 폴리라인 기반 표현보다 자료 효율성과 의미 표현력 면에서 뛰어나다고 할 수 있는가?
• RQ4 간단하고 효율적인 MnM 블록이 예측 성능을 희생시키지 않고 어텐션 메커니즘을 대체할 수 있는가?
• RQ5 클러스터링을 통한 앙상블 모델링이 궤도 예측의 강인성과 정확도를 얼마나 향상시키는가?

주요 결과

• Golfer는 2022년 웨이모 오픈 데이터셋 궤도 예측 챌린지에서 minADE 1위, Soft mAP 2위를 기록하였다.
• 믹스 연산으로 최대 풀링, 매칭 연산으로 연결을 사용한 MnM 블록이 표준 어텐션보다 훨씬 낮은 계산 비용으로 뛰어난 성능을 달성하였다.
• 계층적 시나리오 인코딩은 높은 자료 효율성을 확보하면서 도로 폴리라인과 자동차 궤적의 의미적 맥락을 유지하였다.
• 마스크된 목표 조건부 처리를 통해 모델은 다양한 가능성이 있는 미래 궤도를 예측하는 능력을 향상시켰다.
• 모델 출력의 k-means 클러스터링을 통한 앙상블 예측은 궤도 예측의 정확도와 강인성을 향상시켰다.
• 모델은 단순한 비어텐션 메커니즘이 궤도 예측 작업에서 어텐션 기반 트랜스포머의 성능을 따라하거나 초월할 수 있음을 입증하였다.