[논문 리뷰] Predicting Future Lane Changes of Other Highway Vehicles using RNN-based Deep Models

Sajan Patel, Brent Griffin외 2명|arXiv (Cornell University)|2018. 01. 12.

Traffic Prediction and Management Techniques참고 문헌 18인용 수 30

한 줄 요약

이 논문은 1초 간의 레이더, GPS, 관성 및 지ap 데이터를 활용하여 주행 중 주변 차량의 향후 3초 이내의 차선 변경을 예측하는 복합 구조적 순환 신경망(SRNN)을 제안한다. 이 모델은 단일 LSTM 및 단일 요소 SRNN 기준선 대비 균형 정확도에서 최대 12% 향상되며, 센서 장애 상황에서도 자율 주행 차량의 비상 조작을 위한 의미론적 행동 예측의 투명성과 신뢰성을 향상시킨다.

ABSTRACT

In the event of sensor failure, autonomous vehicles need to safely execute emergency maneuvers while avoiding other vehicles on the road. To accomplish this, the sensor-failed vehicle must predict the future semantic behaviors of other drivers, such as lane changes, as well as their future trajectories given a recent window of past sensor observations. We address the first issue of semantic behavior prediction in this paper, which is a precursor to trajectory prediction, by introducing a framework that leverages the power of recurrent neural networks (RNNs) and graphical models. Our goal is to predict the future categorical driving intent, for lane changes, of neighboring vehicles up to three seconds into the future given as little as a one-second window of past LIDAR, GPS, inertial, and map data. We collect real-world data containing over 20 hours of highway driving using an autonomous Toyota vehicle. We propose a composite RNN model by adopting the methodology of Structural Recurrent Neural Networks (RNNs) to learn factor functions and take advantage of both the high-level structure of graphical models and the sequence modeling power of RNNs, which we expect to afford more transparent modeling and activity than opaque, single RNN models. To demonstrate our approach, we validate our model using authentic interstate highway driving to predict the future lane change maneuvers of other vehicles neighboring our autonomous vehicle. We find that our composite Structural RNN outperforms baselines by as much as 12% in balanced accuracy metrics.

연구 동기 및 목표

• 센서 장애 상황에서도 자율 주행 차량이 주변 차량의 향후 차선 변경을 예측하여 안전한 비상 조작을 가능하게 하기 위해.
• 최소한의 과거 센서 관측치(1~5초)를 사용하여 의미론적 주행 행동—특히 차선 변경—을 예측하는 문제를 해결하기 위해.
• 도구 모델의 해석 가능성과 RNN의 시계열 모델링 능력을 융합하여 강력한 행동 예측을 위한 것을 위해.
• 실제 고속도로 환경에서 외부 차량의 조작을 예측하기 위한 투명하고 확장 가능하며 신뢰할 수 있는 프레임워크를 개발하기 위해.

제안 방법

• 저자들은 자동차와 주변 외부 차량 간의 시공간적 의존성을 나타내는 차선 기반의 그래픽 모델을 설계한다.
• 이 그래픽 모델을 구조적 순환 신경망(SRNN)으로 변환하며, 인과 그래프에 따라 RNN 유닛을 구조화하여 비선형 요소 및 노드 함수를 학습한다.
• 실제 자율 주행 토요타 차량에서 수집한 실세계 데이터를 사용하여 엔드 투 엔드로 모델을 훈련한다. 이 차량에는 레이더, GPS, 관성 센서 및 고해상도 지도가 탑재되어 있다.
• 모델은 센서 입력 시퀀스(LIDAR, GPS, 관성, 지도 데이터)를 처리하고 주변 차량의 향후 분류된 의도(좌측 차선 변경, 우측 차선 변경, 변경 없음)를 예측한다.
• 고차원의 구조적 모델링과 딥 러닝을 통합하여, 표준 RNN을 넘어서 해석 가능성과 확장성을 확보한다.
• 모델은 자동차와 다수의 외부 차량 간의 상호작용을 동시에 모델링하는 복합 RNN 아키텍처를 사용하여 맥락적 의존성을 포착한다.

실험 결과

연구 질문

• RQ1 그래픽 모델과 RNN을 융합한 하이브리드 모델이 표준 RNN에 비해 차선 변경 예측의 정확도와 해석 가능성에서 향상되는가?
• RQ2 고속도로 주행의 복잡성에도 불구하고, 단지 1초 간의 센서 데이터만으로도 향후 차선 변경을 얼마나 잘 예측할 수 있는가?
• RQ3 RNN에 구조적이고 차선 기반의 인과 그래프를 통합하면 다양한 예측 수평에서 성능과 일관성이 향상되는가?
• RQ4 제안된 복합 SRNN은 단일 LSTM 및 단일 요소 SRNN 기준선에 비해 균형 정확도와 강건성 측면에서 어떻게 비교되는가?

주요 결과

• 복합 구조적 RNN(SRNN)은 다양한 시간 수평에서 단일 LSTM 및 단일 요소 SRNN 기준선 대비 최대 12% 높은 균형 정확도를 기록한다.
• 5초 간의 장기적인 시간 역사가 제공될 경우, 장기 예측 수평(최대 3초)에서도 일관된 성능을 보이며, 시간 모델링의 신뢰성 향상을 시사한다.
• 9개의 시간 수평 설정 중 8개에서 복합 SRNN이 단일 LSTM 및 단일 요소 SRNN보다 높은 균형 정확도를 확보하여 그 강건성을 입증한다.
• 두 경우(5초 역사에서 2초 및 3초 예측)에서 약간의 성능 상승이 있었지만, 복합 SRNN은 전반적으로 뛰어난 일관성과 투명성을 유지한다.
• 모델의 해석 가능성과 구조화된 설계는 특히 안전이 핵심인 자율 주행 환경에서 투명하지만 단순한 레이어 RNN에 비해 유의미한 이점을 제공한다.
• 결과적으로 고차원 그래픽 구조와 딥 RNN 학습을 융합함으로써 자율 주행 차량의 더 신뢰할 수 있고 투명한 행동 예측이 가능하다는 것이 검증되었다.