[논문 리뷰] Trajformer: Trajectory Prediction with Local Self-Attentive Contexts for Autonomous Driving

Manoj Bhat, Jonathan Francis외 1명|arXiv (Cornell University)|2020. 11. 30.

Autonomous Vehicle Technology and Safety참고 문헌 16인용 수 18

한 줄 요약

Trajformer는 자율주행에서 다중모달 궤적 예측을 위한 자기주의 기반 엔드 투 엔드 모델을 제안하며, 국소화된 에이전트 중심의 맥락 인코딩을 통해 예측 정확도와 다양성을 향상시킨다. Argoverse 데이터셋에서 minADE, minFDE, DAO, DAC에 있어 상위 성능를 기록했으며, 이전 방법 대비 모델 크기를 60% 이상 감소시켰다.

ABSTRACT

Effective feature-extraction is critical to models' contextual understanding, particularly for applications to robotics and autonomous driving, such as multimodal trajectory prediction. However, state-of-the-art generative methods face limitations in representing the scene context, leading to predictions of inadmissible futures. We alleviate these limitations through the use of self-attention, which enables better control over representing the agent's social context; we propose a local feature-extraction pipeline that produces more salient information downstream, with improved parameter efficiency. We show improvements on standard metrics (minADE, minFDE, DAO, DAC) over various baselines on the Argoverse dataset. We release our code at: https://github.com/Manojbhat09/Trajformer

연구 동기 및 목표

• 자율주행의 다중모달 궤적 예측에서 에이전트 간 사회적 맥락을 모델링하는 데서 기존의 한계를 해결하기 위해.
• 국소 자기주의를 통해 동적 시나리오 상호작용의 특징 표현을 향상시켜 예측 품질을 향상시키기 위해.
• 최신 기술 대비 더 낮은 모델 크기와 높은 파라미터 효율성을 달성하기 위해.
• 국소 에이전트 행동과 예절을 포착하여 더 다양하고 적합하며 사회적으로 타당한 미래 궤적을 생성하기 위해.
• Argoverse 벤치마크에서 종합적인 정량적 및 정성적 평가를 통해 모델을 검증하기 위해.

제안 방법

• 모델은 국소 자기주의를 사용하는 트랜스포머 기반 인코더를 활용하여 주변 에이전트로부터 주목할 만한 특징을 추출하며, 즉각적인 사회적 맥락에 집중한다.
• 비전 트랜스포머를 영감으로 삼은 투영된 지도 클리핑을 통해 공간 사전 지식을 통합하여 시나리오 수준의 인식 능력을 향상시킨다.
• 통합된 자기주의 백본을 통해 시나리오-에이전트 및 에이전트-에이전트 맥락을 통합적으로 처리하여 별도의 인코더를 피한다.
• 고정된 크기의 공간 윈도우(16×16 픽셀)를 사용해 각 에이전트 주변의 국소 주변 특징을 추출함으로써 효율적이고 집중적인 주의를 가능하게 한다.
• Argoverse 트래킹 스플릿에서 Adam 옵tim자와 함께 학습률 웜업 및 감쇠를 적용한 단일 단계 엔드 투 엔드 학습 파이프라인을 사용한다.
• 1024차원 잠재 코드와 단일 레이어 프로젝션 헤드를 사용해 특징을 미래 궤적 예측으로 매핑한다.

실험 결과

연구 질문

• RQ1 국소 자기주의는 자율주행 궤적 예측에서 동적 사회적 상호작용의 모델링을 향상시킬 수 있는가?
• RQ2 통합된 자기주의 백본은 시나리오 및 사회적 맥락에 대해 별도의 인코더를 사용하는 것과 비교해 어떻게 성능을 냅니다?
• RQ3 최신 기술 대비 Trajformer는 예측 다양성과 적합성에서 어느 정도 향상되는가?
• RQ4 경량 트랜스포머 기반 모델은 훨씬 적은 파라미터로 더 나은 성능을 달성할 수 있는가?
• RQ5 고속도 에이전트가 존재할 경우 나타나는 고장 유형은 무엇이며, 맥락 윈도우 크기는 이에 어떤 영향을 미치는가?

주요 결과

• Trajformer는 Argoverse 데이터셋에서 새로운 최고 성능를 기록했으며, 최고의 변종(Trajformer-24)에서 minADE는 0.621, minFDE는 0.719를 기록했다.
• 이전 방법 대비 DAO(28.21)와 DAC(0.973)를 크게 향상시켜 예측 궤적의 다양성과 적합성이 향상됨을 시사한다.
• Trajformer-24는 모델 크기를 2.9 MB와 192K 파라미터로 줄여 DATF(4.7 MB, 462K 파라미터) 대비 58% 감소시켰다.
• 정성적 결과에서 교차로에서 오른쪽 통행 규칙을 성공적으로 학습하고 적용함을 확인했으며, 에이전트가 정확히 양보하는 것을 보였다.
• 주요 고장 유형은 고속도 에이전트에서 발생하며, 예측 궤적 점들이 정상 거리의 두 배로 균일하게 분포하는 것으로 나타났다. 이는 국소 맥락 윈도우 크기가 제한되어 있기 때문일 것이다.
• Trajformer-12와 Trajformer-24 간 성능 격차는 미미하여, 12층으로도 낮은 복잡도에서 강력한 성능가능성을 시사한다.