[논문 리뷰] Naturalistic Driver Intention and Path Prediction using Recurrent Neural Networks

Alex Zyner, Stewart Worrall외 1명|arXiv (Cornell University)|2018. 07. 26.

Autonomous Vehicle Technology and Safety참고 문헌 25인용 수 7

한 줄 요약

이 논문은 실세계 라이다 데이터를 사용하여 비신호등 제어 도심 교차로에서 다중 모드 운전자 의도와 궤적을 예측하기 위해 혼합 밀도 네트워크 출력층을 갖춘 순환 신경망(RNN)을 제안한다. 모델은 예측의 불확실성을 군집화하여 순위가 매겨진 타당한 경로로 분류하며, 다섯 개의 교차로에서 23,000대의 차량을 포함한 대규모 자연주의 데이터셋에서 기존 모델들을 능가한다.

ABSTRACT

Understanding the intentions of drivers at intersections is a critical component for autonomous vehicles. Urban intersections that do not have traffic signals are a common epicentre of highly variable vehicle movement and interactions. We present a method for predicting driver intent at urban intersections through multi-modal trajectory prediction with uncertainty. Our method is based on recurrent neural networks combined with a mixture density network output layer. To consolidate the multi-modal nature of the output probability distribution, we introduce a clustering algorithm that extracts the set of possible paths that exist in the prediction output, and ranks them according to likelihood. To verify the method's performance and generalizability, we present a real-world dataset that consists of over 23,000 vehicles traversing five different intersections, collected using a vehicle mounted Lidar based tracking system. An array of metrics is used to demonstrate the performance of the model against several baselines.

연구 동기 및 목표

• 기존 데이터셋과 모델이 부족한 동적인 비신호등 제어 도심 교차로에서 운전자 의도 예측의 과제를 해결한다.
• 단일 결정론적 경로를 가정하는 대신, 좌회전, 우회전, 직진 등의 다중 모드 운전 행동 특성을 반영하는 방법을 개발한다.
• 고정밀 지도나 광범위한 사전 처리 없이도 다양한 교차로 기하학적 구조에 대해 실시간으로 일반화 가능한 예측을 가능하게 한다.
• 실제 운전자 의사결정의 불확실성에 대응하는 확률적이고 불확실성 인식 출력을 제공한다.
• 실세계 주행 시나리오에서 수집한 대규모 자연주의 데이터를 활용하여 일반화 능력과 강건성을 입증한다.

제안 방법

• 운전자 궤적 시퀀스의 시간적 의존성을 모델링하기 위해 장기 기억 단기 기억(LSTM) 순환 신경망을 사용한다.
• 미래 궤적의 다중 모드 확률 분포를 모델링하기 위해 혼합 밀도 네트워크(MDN) 출력층을 사용한다.
• MDN 출력에 클러스터링 알고리즘을 적용하여 확률에 따라 순위가 매겨진 타당한 경로의 이산 집합을 추출한다.
• 데이터 필터링이나 미래 시간에 대한 의존성 없이 실세계 라이다 추적 데이터를 사용해 모델을 엔드 투 엔드로 훈련한다.
• 모든 교차로 간에 궤적 입력을 표준화하기 위해 교차로 입구를 기준으로 한 프레임 오브 레퍼런스를 사용한다.
• 출력을 혼합 정규분포로 간주함으로써 불확실성 추정을 통합하여 각 예측 경로의 신뢰도 점수를 부여한다.

실험 결과

연구 질문

• RQ1 실시간 자연주의 궤적 데이터만을 사용하여 딥 러닝 모델이 비신호등 제어 교차로에서 다중 모드 운전자 의도를 효과적으로 예측할 수 있는가?
• RQ2 제안된 RNN-MDN 모델에 클러스터링을 적용한 경우, 실세계 데이터에서 기존 모델 대비 정확도와 강건성 측면에서 어떤 성능을 보이는가?
• RQ3 고정밀 지도나 지ap별 정밀 조정 없이도 모델이 다양한 교차로 기하학적 구조에 대해 얼마나 잘 일반화되는가?
• RQ4 불확실성과 다중 모드 출력을 포함함으로써 단일 경로 또는 결정론적 모델 대비 예측 성능이 얼마나 향상되는가?
• RQ5 훈련 시 시퀀스 모델링이 예측 정확도에 미치는 영향은 어떠한가? 특히 첫 단계만 손실 함수로 사용하는 경우와 비교해 볼 때

주요 결과

• RNN-FF 모델은 모든 기준 모델보다 다중 모드 궤적 예측에서 뛰어난 성능을 보였으며, 특히 좌회전과 우회전 예측에서 두드러진 성능을 보였다. 가장 가능성 높은 예측 경로는 항상 다른 후보보다 높은 순위를 차지했다.
• 모델은 차량이 아직 운전 동작를 확정하지 않은 상태에서 직진과 좌회전 경로를 모두 예측함으로써 운전자 행동의 다중 모드 특성을 성공적으로 반영했다.
• 정답 궤적이 최상위 예측이 아니었을 경우에도 항상 다중 모드 출력 집합 내에 포함되어 있었으며, 이는 모델의 강건성을 입증한다.
• 첫 단계 손실만을 사용한 RNN-FL 모델은 성능이 열악했으며, 이는 장기 예측의 정확도를 확보하기 위해 훈련 중 전체 시퀀스 모델링이 필수적임을 시사한다.
• RNN-ZF와 RNN-FF 모델 간 성능 차이가 미미하여, 추론 시 다중 모드 출력에서 샘플링하는 것이 결과에 크게 영향을 주지 않음을 시사한다.
• 모델은 훈련 중에 볼 수 없었던 교차로를 포함하여 다양한 교차로에 대해 강력한 일반화 능력을 보였으며, 미세한 데이터 정렬 오차가 존재하더라도 성능이 유지되었다.