[논문 리뷰] MPA: MultiPath++ Based Architecture for Motion Prediction

Stepan Konev|arXiv (Cornell University)|2022. 06. 20.

Autonomous Vehicle Technology and Safety인용 수 6

한 줄 요약

이 논문은 자율 주행을 위한 MPA라는 MultiPath++ 기반 아키텍처를 제안하며, 다중 디코더와 어텐션 메커니즘, 다중 컨텍스트 게이팅을 사용하여 궤적 예측 성능을 향상시킨다. 2022년 웨이모 모션 예측 챌린지에서 테스트 세트에서 소프트 mAP 0.3930을 기록하며 3위를 차지했으며, 이는 이전의 CNN 기반 방법들을 능가한다.

ABSTRACT

Autonomous driving technology is developing rapidly and nowadays first autonomous rides are being provided in city areas. This requires the highest standards for the safety and reliability of the technology. Motion prediction part of the general self-driving pipeline plays a crucial role in providing these qualities. In this work we present one of the solutions for Waymo Motion Prediction Challenge 2022 based on MultiPath++ ranked the 3rd as of May, 26 2022. Our source code is publicly available on GitHub.

연구 동기 및 목표

• 복잡하고 불확실한 에이전트 행동을 고려하여 자율 주행의 모션 예측 정확도를 향상시키기 위해 MultiPath++ 프레임워크를 개선한다.
• 특히 자전거 기사와 같은 소수의 에이전트 클래스에서의 과적합 문제를 해결하기 위해 표적화된 데이터 증강 기법을 적용한다.
• 표준 손실 함수가 직접 최적화하지 않는 소프트 mAP 지표를 최적화하기 위해 후처리 기법을 적용한다.
• 다중 디코더와 어텐션, 다중 컨텍스트 게이팅이 다중모달 궤적 분포를 모델링하는 데 얼마나 효과적인지 평가한다.
• 웨이모 오픈 모션 데이터셋 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 모델은 타겟 에이전트의 위치와 헤딩을 정규화하기 위해 표준 좌표계를 사용하여 대칭성을 줄이고 일반화 능력을 향상시킨다.
• 입력 특징은 과거 및 현재 타임스탬프에서 타겟 및 주변 에이전트의 x, y 좌표, 헤딩, 속도, 유효성 플래그를 포함한다.
• 아키텍처는 단일 디코더(6개 모드) 또는 5개의 디코더(각각 6개 모드)를 사용하며, 이후 어텐션 메커니즘과 다중 컨텍스트 게이팅(MCG)을 적용하여 30개의 모드를 6개로 압축한다.
• 학습 중 15%의 과거 에이전트 타임스탬프에 대해 마스킹 증강 전략을 적용하여 값은 0으로 설정하고 유효성 플래그를 무효화함으로써 과적합을 줄인다.
• 손실 함수는 예측 궤적의 혼합 가우시안에 대한 음의 로그우도이며, 학습된 공분산 행렬을 사용한다.
• 후처리 단계에서 확률 재가중치를 적용한 비최대 억제(NMS)를 사용하여 소프트 mAP를 향상시키며, 억제된 궤적은 작은 일정 확률을 유지한다.

실험 결과

연구 질문

• RQ1 다중 디코더와 어텐션 메커니즘을 갖춘 MultiPath++ 기반 아키텍처가 웨이모 데이터셋에서 모션 예측 성능을 향상시킬 수 있는가?
• RQ2 과거 에이전트 상태에 대한 데이터 마스킹이 자전거 기사와 같은 희귀 에이전트 클래스에서의 과적합을 줄이는 데 도움이 되는가?
• RQ3 다중 컨텍스트 게이팅과 어텐션의 조합이 다중모달 궤적 예측을 얼마나 효과적으로 개선하는가?
• RQ4 손실 함수가 직접 최적화하지 않는 소프트 mAP 지표를 위해 비최대 억제를 통한 후처리가 얼마나 효과적인가?
• RQ5 EM 알고리즘을 다른 디코딩 전략으로 대체하면 수치적 안정성과 성능이 향상되는가?

주요 결과

• 모델은 웨이모 오픈 모션 데이터셋의 전체 테스트 세트에서 소프트 mAP 0.3930을 기록하여 2022년 웨이모 모션 예측 챌린지에서 3위를 차지했다.
• 차량에 대해서는 단일 디코더 모델이 가장 높은 성능을 보이며 소프트 mAP 0.4467을 기록했다.
• 보행자에 대해서는 단일 디코더 모델이 소프트 mAP 0.3831을 기록하며 다중 디코더 버전을 능가했다.
• 자전거 기사에 대해서는 어텐션과 MCG를 적용한 다중 디코더 모델이 가장 높은 소프트 mAP 0.3493을 기록하며 단일 디코더 버전을 능가했다.
• 3초 예측 작업은 소프트 mAP 0.4875를 기록하여 가장 높은 성능를 보였고, 8초 예측은 가장 낮은 0.2981을 기록했다.
• 마스킹 증강 기법의 사용은 특히 소수의 에이전트 클래스에서 과적합을 줄였으며, 모든 에이전트 유형에서 일반화 능력을 향상시켰다.