[논문 리뷰] Multi-modal Trajectory Prediction for Autonomous Driving with Semantic Map and Dynamic Graph Attention Network

Bo Dong, Hao Liu외 5명|arXiv (Cornell University)|2021. 03. 30.

Autonomous Vehicle Technology and Safety참고 문헌 25인용 수 9

한 줄 요약

이 논문은 실세계 주행 시나리오에서 다양한 교통 참가자(차량, 자전거, 보행자)의 다중 모달, 확률적 궤적을 예측하기 위해 의미적 HD 지ap과 다중 에이전트 상호작용을 통합한 동적 그래프 어텐션 네트워크(DGAN)를 제안한다. 동적 어텐션 영역을 모델링하고 그래프 어텐션 기반 기법을 활용함으로써, 물류, 스탠포드 드론, ETH/UCY 데이터셋에서 최신 기술을 초월하여 ADE 및 FDE 지표에서 최고 성능을 기록하며 교통 규칙 준수를 보장한다.

ABSTRACT

Predicting future trajectories of surrounding obstacles is a crucial task for autonomous driving cars to achieve a high degree of road safety. There are several challenges in trajectory prediction in real-world traffic scenarios, including obeying traffic rules, dealing with social interactions, handling traffic of multi-class movement, and predicting multi-modal trajectories with probability. Inspired by people's natural habit of navigating traffic with attention to their goals and surroundings, this paper presents a unique dynamic graph attention network to solve all those challenges. The network is designed to model the dynamic social interactions among agents and conform to traffic rules with a semantic map. By extending the anchor-based method to multiple types of agents, the proposed method can predict multi-modal trajectories with probabilities for multi-class movements using a single model. We validate our approach on the proprietary autonomous driving dataset for the logistic delivery scenario and two publicly available datasets. The results show that our method outperforms state-of-the-art techniques and demonstrates the potential for trajectory prediction in real-world traffic.

연구 동기 및 목표

• 복잡한 도심 환경에서 이질적인 교통 참가자(차량, 자전거, 보행자)의 다중 모달, 확률적 궤적을 예측하는 데 도전하는 것.
• 고정밀(고정밀) 의미 지도를 궤적 예측에 통합하여 교통 규칙 준수를 구현하는 것.
• 학습 가능한 어텐션 메커니즘을 활용해 참가자 간의 동적이고 이질적인 사회적 상호작용을 모델링하는 것.
• 단일 딥 러닝 프레임워크 내에서 차량, 자전거, 보행자 등의 다중 클래스 운동 예측을 통합하는 것.
• 관측된 궤적, 에이전트 상태, 지도 수준의 맥락을 함께 인코딩하여 예측 정확도와 강인성을 향상시키는 것.

제안 방법

• 이 방법은 각 시간 단계에서 학습된 어텐션 영역 기반으로 동적 그래프를 구성하는 동적 그래프 어텐션 네트워크(DGAN)를 활용한다. 이는 인간의 주의 방식을 모방하여 관련 있는 에이전트에 집중한다.
• 에이전트 임베딩은 그래프 어텐션 네트워크(GAT)를 통해 업데이트되며, 이는 이웃 에이전트의 특징을 학습 가능한 어텐션 가중치를 사용해 집계한다.
• 모델은 세 가지 입력을 융합한다: 참가자의 관측 궤적, 현재 참가자 상태(위치, 향방, 크기), 그리고 CNN 기반 지도 인코더를 통해 인코딩된 의미 지도.
• 다중 헤드 어텐션 메커니즘이 참가자 간 어텐션 점수를 계산하여, 모델이 동적으로 관련 있는 사회적 상호작용에 집중할 수 있도록 한다.
• 예측 헤드는 다중 궤적 후보 각각에 확률이 할당된 앵커 기반 방법을 사용하여 다중 모달 출력을 생성한다.
• 손실 함수는 예측 궤적에 대한 L2 손실과 예측 확률에 대한 교차 엔트로피 손실을 조합하여 정확도와 신뢰도를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 모델이 교통 규칙을 준수하면서도 이질적인 교통 참가자(차량, 자전거, 보행자)의 다중 모달, 확률적 궤적을 효과적으로 예측할 수 있는가?
• RQ2 의미 지도를 통합함으로써 궤적 예측 성능가 개선되는가? 특히 교차로 및 복잡한 도로 구조에서?
• RQ3 동적 어텐션 영역을 모델링함으로써 참가자 간 변화하는 사회적 상호작용을 포착하는 데 얼마나 기여하는가?
• RQ4 다양한 실제 데이터셋에서 ADE 및 FDE 지표 측면에서 제안된 DGAN 방법이 최신 기술 모델보다 어떻게 비교되는가?
• RQ5 지도 맥락과 동적 그래프 어텐션을 통합함으로써 더 현실적이며 규칙 준수 가능한 궤적 예측이 가능해지는가?

주요 결과

• 사내 물류 데이터셋에서 제안된 DGAN 방법은 모든 비교 방법 대비 가장 낮은 ADE와 FDE를 기록하여 복잡한 배송 시나리오에서 뛰어난 일반화 능력을 입증한다.
• 스탠포드 드론 데이터셋에서 DGAN은 ADE 24.53, FDE 50.78을 기록하여 최신 기술인 Multipath(28.32/58.38) 및 CAR-Net(25.72/51.80)을 능가한다.
• ETH 및 UCY 데이터셋에서 DGAN은 평균 ADE 0.57, FDE 1.18을 기록하여 S-LSTM, S-GAN 및 기타 최신 기술을 능가한다.
• 절단 실험 결과, 의미 지도를 사용할 경우 차량과 자전거의 성능 향상이 뚜렷하지만, 보행자에 대해서는 지도 수준의 신호가 제한적이므로 영향이 적다.
• K=8 앵커를 사용할 경우 최고의 성능를 기록하며, K를 이를 초과해 늘일수록 성능 향상의 효과가 점점 감소함을 확인하여 다양성과 정확도 사이의 최적 균형을 이룬다.
• 시각화 결과는 최고 확률을 가진 예측 궤적이 차선 중심선과 일치함을 확인하여 지도 기반 계획 수립이 효과적으로 작동함을 입증한다.