[논문 리뷰] Formulation and validation of a car-following model based on deep reinforcement learning

Fabian Hart, Ostap Okhrin외 1명|arXiv (Cornell University)|2021. 09. 29.

Traffic control and management참고 문헌 33인용 수 20

한 줄 요약

이 논문은 가속도 범위 제한 및 훈련 데이터 외 일반화 부족 등의 기존 DRL 모델의 한계를 극복하기 위해 맞춤형 보상 함수를 사용해 안전성, 편안함, 효율성을 극대화하도록 훈련된 딥 강화학습(DRL) 기반의 후행 주행 모델을 제안한다. 이 모델는 잘라낸 옴스타인-울렌벡 과정에서 유도된 합성 리더 운동 경로를 활용하며, 무조건적인 스트링 안정성, 충돌 없는 행동, 다양한 실제 및 인위적 리더 데이터에서 IDM보다 뛰어난 성능을 달성한다.

ABSTRACT

We propose and validate a novel car following model based on deep reinforcement learning. Our model is trained to maximize externally given reward functions for the free and car-following regimes rather than reproducing existing follower trajectories. The parameters of these reward functions such as desired speed, time gap, or accelerations resemble that of traditional models such as the Intelligent Driver Model (IDM) and allow for explicitly implementing different driving styles. Moreover, they partially lift the black-box nature of conventional neural network models. The model is trained on leading speed profiles governed by a truncated Ornstein-Uhlenbeck process reflecting a realistic leader's kinematics. This allows for arbitrary driving situations and an infinite supply of training data. For various parameterizations of the reward functions, and for a wide variety of artificial and real leader data, the model turned out to be unconditionally string stable, comfortable, and crash-free. String stability has been tested with a platoon of five followers following an artificial and a real leading trajectory. A cross-comparison with the IDM calibrated to the goodness-of-fit of the relative gaps showed a higher reward compared to the traditional model and a better goodness-of-fit.

연구 동기 및 목표

• 자유 주행 및 안전 중심 상황을 포함한 다양한 교통 시나리오에 일반화 가능한 후행 주행 모델을 개발하기 위해.
• 기존 DRL 모델의 한계, 예를 들어 제한된 가속도 범위와 훈련 데이터 외 일반화 부족 문제를 해결하기 위해.
• 극한 브레이킹 상황에서도 스트링 안정성과 충돌 없는 행동을 보장하기 위해.
• 조정 가능한 보상 함수 파rameter를 통해 다양한 드라이빙 스타일을 명시적으로 모델링할 수 있도록 하기 위해.
• 실제 및 합성 궤적 데이터를 포함한 플라토운 및 실제 리더-팔로워 실험을 통해 모델을 검증하기 위해.

제안 방법

• 모델는 자유 주행과 후행 주행을 위한 두 개의 별도 정책을 갖춘 모듈러한 DRL 프레임워크를 사용하며, 딥 결정적 정책 기울기(DDPG)를 통해 훈련된다.
• 보상 함수는 안전성(충돌까지의 시간), 편안함(가속도의 부드러움), 목표 속도를 반영하도록 설계되었으며, 다양한 드라이빙 스타일을 모방하기 위해 파라미터 조정이 가능하다.
• 리더 차량의 궤적은 현실적인 운동학을 시뮬레이션하고 무한하고 다양한 훈련 데이터를 제공하기 위해 잘라낸 옴스타인-울렌벡 과정을 사용해 생성된다.
• 모델는 누적 보상 최대화를 위해 엔드 투 엔드로 훈련되며, 정책 네트워크는 상태 관측값(상대 속도, 간격, 리더 차량 속도)을 가속도 행동으로 매핑한다.
• 스트링 안정성은 5명의 후행자로 구성된 플라토운 시뮬레이션을 통해 인위적 및 실제 리더 궤적을 사용해 평가된다.
• 성능은 동일한 실제 궤적 데이터에 맞춰 校정된 IDM과의 비교를 통해 적합도 및 안전성 지표를 기준으로 평가된다.

실험 결과

연구 질문

• RQ1 DRL 기반의 후행 주행 모델은 완전한 브레이킹 동작을 포함한 다양한 극한의 교통 상황에서도 스트링 안정성을 달성할 수 있는가?
• RQ2 모델는 훈련 데이터를 초월해 일반화되는가, 특히 실제 리더 궤적을 사용한 테스트에서 성능이 유지되는가?
• RQ3 동일 조건에서 전통적인 IDM과 비교해 모델의 안전성, 편안함, 효율성 성능은 어떻게 다른가?
• RQ4 모델는 자유 주행과 후행 주행 상태 간에 급격한 행동 변화 없이 매끄럽게 전환할 수 있는가?
• RQ5 가속도 특성(예: 공격적 vs. 수비적)을 보상 함수 파라미터를 통해 얼마나 명시적으로 모델링할 수 있는가?

주요 결과

• 모델는 인위적 및 실제 리더 궤적을 사용한 플라토운 시뮬레이션에서 큰 가속도 이상치가 존재하는 상황에서도 무조건적인 스트링 안정성을 확보했다.
• 모델는 모든 테스트 시나리오에서 충돌 없이 작동했으며, 약 6 m/s²로 감속하는 극한의 브레이킹 이벤트에서도 마찬가지였다.
• RL 에이전트는 IDM의 2.04초 대비 최소 충돌까지의 시간(TTC)이 1.99초로 더 낮게 기록되었으며, 대부분의 분포에서 더 높은 TTC 값을 확보했다.
• 15개의 실제 리더-팔로워 실험 평균에서 모델는 누적 보상 측면에서 IDM보다 1.9% 높은 성능을 보였으며, 안전성 및 편안함 목표와의 일치도가 더 높음을 시사했다.
• 모델는 자유 주행과 후행 주행 상태 간에 급격한 가속도 변화 없이 매끄럽고 편안한 전환을 보였다.
• 모델는 훈련 중에 볼 수 없었던 실제 궤적에서도 안전성과 안정성을 유지하며 훈련 데이터를 초월해 잘 일반화되었다.