[논문 리뷰] FollowNet: A Comprehensive Benchmark for Car-Following Behavior Modeling

Xianda Chen, Meixin Zhu외 6명|arXiv (Cornell University)|2023. 05. 25.

Traffic Prediction and Management Techniques참고 문헌 47인용 수 4

한 줄 요약

FollowNet은 차량 추종 행동 모델링을 위한 최초의 표준화된 벤치마크를 제안하며, 일관된 기준을 사용해 5개의 공개 데이터셋에서 80,000건 이상의 이벤트를 추출한다. 표준화된 메트릭을 사용해 최신 모델을 평가한 결과, DDPG 기반 모델이 전통적인 모델(IDM, GHR)보다 더 낮은 간격 MSE와 0% 충돌률을 기록하며, 안전성과 정확도 면에서 신경망 및 LSTMs를 능가한다.

ABSTRACT

Car-following is a control process in which a following vehicle (FV) adjusts its acceleration to keep a safe distance from the lead vehicle (LV). Recently, there has been a booming of data-driven models that enable more accurate modeling of car-following through real-world driving datasets. Although there are several public datasets available, their formats are not always consistent, making it challenging to determine the state-of-the-art models and how well a new model performs compared to existing ones. In contrast, research fields such as image recognition and object detection have benchmark datasets like ImageNet, Microsoft COCO, and KITTI. To address this gap and promote the development of microscopic traffic flow modeling, we establish a public benchmark dataset for car-following behavior modeling. The benchmark consists of more than 80K car-following events extracted from five public driving datasets using the same criteria. These events cover diverse situations including different road types, various weather conditions, and mixed traffic flows with autonomous vehicles. Moreover, to give an overview of current progress in car-following modeling, we implemented and tested representative baseline models with the benchmark. Results show that the deep deterministic policy gradient (DDPG) based model performs competitively with a lower MSE for spacing compared to traditional intelligent driver model (IDM) and Gazis-Herman-Rothery (GHR) models, and a smaller collision rate compared to fully connected neural network (NN) and long short-term memory (LSTM) models in most datasets. The established benchmark will provide researchers with consistent data formats and metrics for cross-comparing different car-following models, promoting the development of more accurate models. We open-source our dataset and implementation code in https://github.com/HKUST-DRIVE-AI-LAB/FollowNet.

연구 동기 및 목표

• 차량 추종 연구에서 표준화된 데이터 포맷과 평가 기준의 부족으로 인해 신규 모델 간의 공정한 비교가 어려운 문제를 해결한다.
• 다양한 주행 환경에서 일관된 평가와 상호 비교가 가능한 통합 벤치마크를 구축한다.
• 자율주행 차량이 포함된 혼합 교통 흐름을 포함함으로써 모델 개발을 향상시킨다. 기존 데이터셋에서 이러한 요소는 미흡하게 반영되어 있다.
• 정제된 데이터와 코드를 오픈 액세스로 제공하여 연구를 가속화하고 반복적인 데이터 추출 작업을 줄인다.
• 일관된 메트릭을 사용해 대표적인 기초 모델의 성능을 평가하여 향후 연구의 성능 기준을 설정한다.

제안 방법

• 일관된 기준을 사용해 5개의 공개 주행 데이터셋(NGSIM, HighD, Lyft, Waymo 및 기타)에서 80,000건 이상의 차량 추종 이벤트를 추출한다.
• 모든 데이터셋에서 일관된 모델 비교를 위해 데이터 포맷과 평가 메트릭(특히 간격의 평균제곱오차(MSE)와 충돌률)을 표준화한다.
• 기초 모델 5종을 구현: 전통적 모델(IDM, GHR)과 데이터 기반 모델(완전연결 신경망, LSTM, DDPG)을 성능 기준점으로 삼는다.
• 유전 알고리즘(GA)을 사용해 전통적 모델의 파라미터를 캘리브레이션하여 안전성과 성능을 향상시킨다.
• 딥러닝 모델(LSTM, NN, DDPG)을 동일한 표준화된 데이터 분할 기준으로 모든 데이터셋에서 훈련 및 평가한다.
• GitHub(https://github.com/HKUST-DRIVE-AI-LAB/FollowNet)를 통해 데이터셋과 코드베이스를 공개하여 커뮤니티의 재사용 및 확장 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 DDPG, LSTM, NN와 같은 데이터 기반 모델이 IDM, GHR와 같은 전통적 모델에 비해 간격 예측 정확도와 충돌 회피 능력에서 어떻게 다른가?
• RQ2 DDPG와 같은 딥 러닝 강화학습 모델이 다양한 도로 유형, 기상 조건, 교통 구성 요소에 대해 얼마나 일반화되는가?
• RQ3 한 데이터셋에서 훈련한 모델이 다른 데이터셋에서 테스트되었을 때 발생하는 성능 격차는 어느 정도이며, 이는 일반화 능력을 어떻게 반영하는가?
• RQ4 일관된 데이터 포맷과 평가 메트릭을 갖춘 통합 벤치마크는 차량 추종 모델 평가의 노력과 일관성 부족 문제를 얼마나 줄일 수 있는가?
• RQ5 자율주행 차량과 인간 운전 차량이 혼합된 교통 환경에서 모델의 성능은 어떠하며, 안전성과 내구성 향상을 위해 어떤 개선이 필요한가?

주요 결과

• DDPG 기반 모델인 DDPG_Max는 대부분의 데이터셋에서 전통적 모델(IDM, GHR)보다 더 낮은 간격의 평균제곱오차(MSE)를 기록하여 더 높은 예측 정확도를 입증했다.
• 유전 알고리즘(GA)을 사용해 캘리브레이션한 전통적 모델(IDM, GHR)은 0% 충돌률을 기록하여 안전성 설계의 중요성을 입증했다.
• 완전연결 신경망(NN)과 LSTMs와 같은 데이터 기반 모델은 DDPG 및 전통적 모델에 비해 더 높은 충돌률을 보이며, 안전성과의 트레이드오프를 드러냈다.
• DDPG_Max 모델은 IDM 및 GHR보다 더 낮은 간격 MSE를 기록하면서도 0% 충돌률을 달성하여, 종합적인 성능에서 전통적 모델과 다른 데이터 기반 모델을 모두 능가했다.
• 벤치마크 분석 결과, NGSIM에서 훈련한 모델이 Lyft와 같은 다른 데이터셋에서 테스트되었을 때 심각한 성능 격차가 발생함을 확인하여, 데이터셋 간 일반화 능력이 제한적임을 시사했다.
• Lyft와 Waymo와 같은 데이터셋에 자율주행 차량이 포함된 것은 혼합 교통 흐름을 모델링하는 데 필수적이며, 향후 모델 개발을 위해 반드시 필요한 데이터임을 입증했다.