[논문 리뷰] MTR-A: 1st Place Solution for 2022 Waymo Open Dataset Challenge -- Motion Prediction

Shaoshuai Shi, Li Jiang외 2명|arXiv (Cornell University)|2022. 09. 20.

Multimodal Machine Learning Applications인용 수 11

한 줄 요약

이 논문은 2022년 웨이모 오픈 데이터셋 운동 예측 챌린지에서 1등을 차지한 MTR-A를 제안하며, 학습 가능한 운동 쿼리 쌍(정적 의도 쿼리와 동적 탐색 쿼리로 구성됨)을 갖춘 운동 트랜스포머 프레임워크를 도입하여 학습을 안정화시키고, 모드별로 반복적인 궤적 정밀 조정을 가능하게 한다. 이 방법은 공식 랭킹에서 소프트 mAP, mAP 및 미스 레이트 측면에서 뚜렷한 격차로 최신 기술 성능을 달성한다.

ABSTRACT

In this report, we present the 1st place solution for motion prediction track in 2022 Waymo Open Dataset Challenges. We propose a novel Motion Transformer framework for multimodal motion prediction, which introduces a small set of novel motion query pairs for generating better multimodal future trajectories by jointly performing the intention localization and iterative motion refinement. A simple model ensemble strategy with non-maximum-suppression is adopted to further boost the final performance. Our approach achieves the 1st place on the motion prediction leaderboard of 2022 Waymo Open Dataset Challenges, outperforming other methods with remarkable margins. Code will be available at https://github.com/sshaoshuai/MTR.

연구 동기 및 목표

• 복잡한 도심 환경에서 높은 불확실성과 다양한 에이전트 행동을 포함한 다중모드 운동 예측 문제를 해결하기 위해.
• 소규모 학습 가능한 의도 점을 통해 공간 사전 지식을 도입함으로써 학습을 안정화하고 예측 품질을 향상시키기 위해.
• 의도 위치 추정과 반복적 운동 정밀 조정을 분리함으로써 모드별로 탄력적인 궤적 생성을 가능하게 하기 위해.
• 비최대 억제(NMS)를 사용한 단순하면서도 효과적인 모델 앙상블 전략을 통해 성능을 향상시키기 위해.
• 2022년 웨이모 오픈 데이터셋 운동 예측 챌린지에서 최신 기술 성능을 달성하기 위해.

제안 방법

• 장면 컨텍스트 인코더에 스택된 트랜스포머 레이어를 사용하여 에이전트 궤적과 지도 폴리라인을 인코딩하는 트랜스포머 인코더-디코더 아키텍처를 채택한다.
• 새로운 운동 쿼리 쌍 메커니즘을 도입하며, 이는 정적 의도 쿼리(고정된 의도 점에 대한 학습 가능한 임bedding)와 동적 탐색 쿼리(궤적 정밀 조정을 위해 반복적으로 업데이트됨)로 구성된다.
• 각 운동 쿼리 쌍은 특정 운동 모드와 연관되어 있어, 모드별 예측을 가능하게 하고 학습 안정성을 향상시킨다.
• 동적 탐색 쿼리는 디코더 레이어 전반에 걸쳐 궤적 특징을 집계하여 예측을 단계적으로 정밀 조정한다.
• 각 시간 단계에서 예측된 GMM에서 가장 적합한 성분을 선택하기 위해 하드 할당을 사용한 음의 로그우도 손실을 사용하여 모델을 훈련시킨다.
• 7개의 변형을 사용한 모델 앙상블 전략이 비최대 억제(NMS)와 함께 적용되며, 궤적 길이에 비례하여 동적 거리 임계값을 스케일링한다.

실험 결과

연구 질문

• RQ1 소규모 학습 가능한 운동 쿼리 쌍이 학습 안정성을 확보하면서도 다중모드 미래 궤적을 효과적으로 모델링할 수 있는가?
• RQ2 의도 위치 추정과 반복적 운동 정밀 조정을 분리함으로써 예측 정확도와 수렴 속도는 어떻게 향상되는가?
• RQ3 NMS를 사용한 단순한 모델 앙상블 전략이 다중모드 운동 예측 성능 향상에 얼마나 기여하는가?
• RQ4 공간 사전 지식을 갖춘 트랜스포머 기반 아키텍처가 대규모 실세계 데이터셋에서 기존의 목표 기반 및 직접 회귀 방법을 능가할 수 있는가?
• RQ5 아키텍처 하이퍼파rameter(예: 쿼리 쌍 수, 히든 차원 수 등)가 복잡한 운동 예측 작업의 최종 성능에 미치는 영향은 어떠한가?

주요 결과

• MTR-A는 2022년 웨이모 오픈 데이터셋 운동 예측 챌린지 랭킹에서 1등을 차지하며, 다른 모든 제출물보다 뚜렷한 격차로 승리했다.
• 이 방법은 소프트 mAP 0.845, mAP 0.789, 그리고 미스 레이트 0.078를 기록하여 뛰어난 다중모드 궤적 예측 성능를 입증했다.
• NMS를 통한 모델 앙상블 전략은 단일 모델보다 성능을 향상시켜, 다양한 예측을 조합하는 데 효과적임을 입증했다.
• k-means 군집화된 의도 점 기반으로 64개의 운동 쿼리 쌍을 사용함으로써 안정적이고 정확한 모드별 궤적 생성이 가능했다.
• 궤적 길이에 비례하여 스케일링된 동적 거리 임계값은 다양한 모델 간 고신뢰도 예측을 효과적으로 우선순위화했다.
• 절단 분석 결과, 기존 기반 방법 대비 운동 쿼리 쌍 설계가 학습 안정성과 최종 성능 향상에 뚜렷한 기여를 했다.