[논문 리뷰] Multimodal Trajectory Predictions for Autonomous Driving using Deep Convolutional Networks

Henggang Cui, Vladan Radosavljević외 6명|arXiv (Cornell University)|2018. 09. 18.

Autonomous Vehicle Technology and Safety참고 문헌 46인용 수 27

한 줄 요약

이 논문은 자율주행 차량에서 교통 상황의 래스터라이제이션된 위성뷰 표현을 사용하여 다중모달 궤적 예측을 위한 딥 컨volution 신경망(CNN) 기반 방법을 제안한다. 이 방법은 향후 여러 궤적과 그 확률을 예측하며, 특히 장거리 예측에서 단모달 기준선보다 뚜렷한 성능 향상을 보이며, M=3 모드에서 최적의 성능과 잘 校정된 확률을 달성한다.

ABSTRACT

Autonomous driving presents one of the largest problems that the robotics and artificial intelligence communities are facing at the moment, both in terms of difficulty and potential societal impact. Self-driving vehicles (SDVs) are expected to prevent road accidents and save millions of lives while improving the livelihood and life quality of many more. However, despite large interest and a number of industry players working in the autonomous domain, there still remains more to be done in order to develop a system capable of operating at a level comparable to best human drivers. One reason for this is high uncertainty of traffic behavior and large number of situations that an SDV may encounter on the roads, making it very difficult to create a fully generalizable system. To ensure safe and efficient operations, an autonomous vehicle is required to account for this uncertainty and to anticipate a multitude of possible behaviors of traffic actors in its surrounding. We address this critical problem and present a method to predict multiple possible trajectories of actors while also estimating their probabilities. The method encodes each actor's surrounding context into a raster image, used as input by deep convolutional networks to automatically derive relevant features for the task. Following extensive offline evaluation and comparison to state-of-the-art baselines, the method was successfully tested on SDVs in closed-course tests.

연구 동기 및 목표

• 교통 행동의 높은 불확실성을 다루기 위해 단일 평균 궤적 대신 주변 운전자에 대한 다수의 타당한 미래 궤적을 예측함으로써 문제를 해결하고자 한다.
• 인간 주행 행동의 다중모달 성격을 모델링하여 자율주행 차량의 안전성과 의사결정 능력을 향상시키고자 한다.
• 고정밀도 지ap 및 주변 운전자 위치를 포함한 래스터라이제이션된 장면 컨텍스트를 입력으로 사용하는 엔드 투 엔드 궤적 예측을 위한 딥 러닝 프레임워크를 개발하고자 한다.
• 다양한 다중모달 예측 아키텍처, 특히 혼합 밀도 네트워크(MDN), 혼합 전문가(메), 그리고 새로운 다중모달 궤적 예측(MTP) 모델을 평가하고 비교하고자 한다.
• 실제 폐쇄 코스 테스트를 통해 방법의 실용적 타당성을 검증하고, 자율주행 시스템에의 구현 가능성을 입증하고자 한다.

제안 방법

• 이 방법은 고정밀도 지도 및 다른 운전자 위치를 포함한 주변 교통 상황을 딥 컨volution 신경망의 입력으로 사용하기 위해 베이직 뷰(BEV) 래스터 이미지로 인코딩한다.
• 새로운 다중모달 궤적 예측(MTP) 모델을 제안하며, 이는 학습 가능한 모드 선택 정책을 사용하여 다수의 미래 궤적과 그 예측 확률을 출력한다.
• 학습 중에 거리 기반 손실 함수를 사용하며, 두 가지 변형이 존재한다: 하나는 이동 거리 기반, 다른 하나는 각도 차이 기반으로 예측된 모드를 진짜 궤적과 매칭한다.
• 예측된 모드와 진짜 궤적 간의 거리를 최소화하도록 모델을 훈련시키며, 모드 확률은 버킷 분석을 통해 校정된다.
• 다중 가설 평가 전략을 활용하여, 이동 거리 또는 각도 기반으로 최적의 매칭 모드를 선택하며, 교차로에서는 각도 기반 매칭이 성능 향상에 기여한다.
• 모델은 실제 주행 데이터를 기반으로 오프라인으로 평가되었으며, 실제 자율주행 차량에서의 폐쇄 코스 테스트를 통해 검증되었다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 단일 평균 궤적 대신 교통 참가자의 다수의 타당한 미래 궤적을 효과적으로 예측할 수 있는가? 이는 실제 주행 불확실성을 더 잘 반영할 수 있는가?
• RQ2 궤적 거리 측정 기준(이동 거리 대비 각도)의 선택이 복잡한 동작(예: 코너 전환)에서 다중모달 궤적 예측 성능에 어떤 영향을 미치는가?
• RQ3 다중모달 궤적 예측에서 예측 모드 수(M)의 최적 값은 무엇이며, 이는 정확도와 모델 복잡성 간의 균형을 어떻게 확보하는가?
• RQ4 예측된 모드 확률이 얼마나 잘 校정되어 있는가? 이는 자율주행 의사결정에 있어 궤적 예측의 신뢰성에 어떤 영향을 미치는가?
• RQ5 다양한 주행 시나리오에서, 제안된 MTP 모델은 최신 기술(SOTA) 기준선 대비 단기 및 장기 예측 정확도에서 어떤 성능을 보이는가?

주요 결과

• M=3 모드를 사용한 MTP 모델이 모든 평가 지표에서 단모달 및 다른 다중모달 기준선을 모두 능가하는 최상의 종합 성능을 달성했다.
• M=3일 때 각도 기반 모드 매칭을 사용하면, 직진 주행 시 예측 오차는 2.18미터로 감소했고, 右측 전환 시에는 5.17미터로 줄어들었다.
• 각도 기반 매칭을 사용할 경우, 이동 거리 기반 대비 전환 동작에서 0.4~0.5미터의 성능 향상을 보였으며, 직진 주행 시에는 단지 0.03미터의 성능 저하만 발생했다.
• 예측된 모드 확률이 잘 校정되어 있음을 확인했으며, 모드 확률 캘리브레이션 플롯이 y=x 기준선과 거의 정확히 일치함을 통해 이를 입증했다.
• 모델은 실제로 존재하는 다중모달 행동을 잘 포착했으며, M=4일 때 '직진' 모드가 '빠름'과 '느림'으로 분리되어 실제 종방향 속도 변동성을 반영했다.
• 실제 자율주행 차량에서의 폐쇄 코스 테스트를 통해 모델의 실용적 타당성과 동적 환경에서의 강건성을 확인했다.