[논문 리뷰] TENET: Transformer Encoding Network for Effective Temporal Flow on Motion Prediction

Yuting Wang, Hangning Zhou외 11명|arXiv (Cornell University)|2022. 06. 30.

Autonomous Vehicle Technology and Safety인용 수 8

한 줄 요약

TENET는 시간 일致성을 향상시키기 위해 시간 흐름 헤더를 도입하고, 다중 모odal성과 예측 신뢰도를 향상시키기 위해 K-means 앙상블 방법을 사용하는 Transformer 기반 운동 예측 모델을 제안한다. 이 모델은 Argoverse 2 운동 예측 챌린지에서 brier-minFDE 점수 1.90을 기록하여 최신 기술 수준을 달성한다.

ABSTRACT

This technical report presents an effective method for motion prediction in autonomous driving. We develop a Transformer-based method for input encoding and trajectory prediction. Besides, we propose the Temporal Flow Header to enhance the trajectory encoding. In the end, an efficient K-means ensemble method is used. Using our Transformer network and ensemble method, we win the first place of Argoverse 2 Motion Forecasting Challenge with the state-of-the-art brier-minFDE score of 1.90.

연구 동기 및 목표

• 자율 주행에서 다중 모달성 궤도 예측 문제를 해결하기 위해 예측의 다양성과 신뢰도를 향상시키기 위해 노력한다.
• 미래에서 과거로의 후행 흐름을 모델링하여 운동 예측의 시간 일관성을 향상시킨다.
• 테스트 시 성능을 유지하면서도 학습 속도를 향상시키기 위한 효율적인 학습 전략을 개발한다.
• 새로운 K-means 기반 다중 궤도 앙상블 방법을 통해 예측의 강건성과 정확도를 향상시킨다.
• 통합된 Transformer 아키텍처를 사용하여 Argoverse 2 운동 예측 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 에이전트 간의 시간적 및 공간적 상호작용을 모델링하기 위해 시간별 및 에이전트별 자기주의(Self-attention)를 갖춘 Transformer 기반 인코더를 사용한다.
• 학습 가능한 쿼리 토큰과 융합된 에이전트-맵 특징 간의 크로스 어텐션을 활용하여 궤도 예측을 생성한다.
• 시간 흐름 헤더를 보조 작업으로 도입하여 미래 예측에서 과거 궤도를 재구성하도록 역방향으로 회귀함으로써 시간 일관성을 강제한다.
• LSTM을 통한 잔차 연결을 갖춘 2층의 MLP를 사용하여 궤도 특징을 디코딩하고 장거리 예측에서의 오차 누적을 줄인다.
• 맵 컨텍스트를 기반으로 예측 궤도에 대한 신뢰도 점수를 할당하기 위해 크로스 어텐션과 소프트맥스를 사용하는 점수 헤더를 적용한다.
• 다른 무작위 시드, 학습 에포크, 하드 마이닝 수준을 가진 모델들에서 유도된 $M \times K$ 궤도에 대해 K-means 앙상블 방법을 적용하여 높은 신뢰도의 예측을 군집하고 평균화한다.

실험 결과

연구 질문

• RQ1 장거리 예측에서 오차 누적을 줄이기 위해 운동 예측 모델의 시간 일관성을 어떻게 향상시킬 수 있는가?
• RQ2 다중 궤도 앙상블 전략이 운동 예측의 다양성과 신뢰도에 미치는 영향은 무엇인가?
• RQ3 학습 및 추론 중에 입력 크기를 효율적으로 조정하는 전략이 테스트 정확도를 훼손하지 않고 학습 속도를 향상시킬 수 있는가?
• RQ4 궤도 점수에 맵 컨텍스트를 통합하면 예측 신뢰도가 어떻게 향상되는가?
• RQ5 시간 흐름 헤더가 모델이 시간적으로 일관된 궤도를 예측하는 데 기여하는 정도는 어떠한가?

주요 결과

• TENET는 Argoverse 2 운동 예측 챌린지에서 brier-minFDE 점수 1.90을 기록하여 모든 다른 방법보다 뛰어난 성능을 보이며 1위를 차지했다.
• K-means 앙상블 방법은 예측 품질을 크게 향상시켰으며, 큰 입력 크기와 앙상블을 동시에 적용했을 때 brier-minFDE가 2.03에서 1.90으로 감소했다.
• 학습 중에는 입력 크기를 줄이고 추론 중에는 증가시킴으로써 학습 속도를 약 30% 향상시켰으며, 이는 테스트 성능 저하 없이 이루어졌다.
• 시간 흐름 헤더는 모델이 미래 예측에서 과거 궤도를 재구성할 수 있음으로써 시간 일관성 향상에 기여했다.
• 앙상블 방법은 다중 모달성을 향상시켰으며, 종점 거리 기반 군집화가 더 강건하고 다양한 예측을 도출했다.
• 최종 앙상블 결과는 지식 distillation을 위한 교사 모델로 강력한 잠재력을 보였으며, 단일 모델 성능이 앙상블 수준의 정확도에 근접하도록 가능하게 했다.