[논문 리뷰] Anti-Jerk On-Ramp Merging Using Deep Reinforcement Learning

Yuan Lin, John McPhee외 1명|arXiv (Cornell University)|2019. 09. 27.

Traffic control and management참고 문헌 33인용 수 5

한 줄 요약

이 논문은 충돌 방지를 보장하면서 승객의 편안함을 높이기 위해 차량의 진동을 최소화하는 데 초점을 맞춘 분산형 고속 주행도로의 차도 통합을 위한 딥 강화학습(DRL) 기반 접근법을 제안한다. 작고 작은 진동 페널티 가중치(wj = 0.00075)를 사용할 경우, 페널티가 없는 기준 대비 진동을 73% 감소시켰으며, 충돌은 전혀 발생하지 않았다.

ABSTRACT

Deep Reinforcement Learning (DRL) is used here for decentralized decision-making and longitudinal control for high-speed on-ramp merging. The DRL environment state includes the states of five vehicles: the merging vehicle, along with two preceding and two following vehicles when the merging vehicle is or is projected on the main road. The control action is the acceleration of the merging vehicle. Deep Deterministic Policy Gradient (DDPG) is the DRL algorithm for training to output continuous control actions. We investigated the relationship between collision avoidance for safety and jerk minimization for passenger comfort in the multi-objective reward function by obtaining the Pareto front. We found that, with a small jerk penalty in the multi-objective reward function, the vehicle jerk could be reduced by 73% compared with no jerk penalty while the collision rate was maintained at zero. Regardless of the jerk penalty, the merging vehicle exhibited decision-making strategies such as merging ahead or behind a main-road vehicle.

연구 동기 및 목표

• 고속 고속도로 통합을 위한 분산형 실시간 차도 통합 정책을 개발하기 위해 딥 강화학습을 활용한다.
• 자동화된 통합 과정에서 충돌 회피(안전성)와 진동 최소화(승객의 편안함)라는 상충되는 목표를 균형 잡는다.
• 다중 목적 보상 함수 설계를 통해 안전성과 주행 편안함 간의 트레이드오프를 조사한다.
• 결과적으로 도출된 의사결정 전략(예: 앞서는 차량 앞에서 통합 또는 뒤에서 통합)과 그 보상 설계에 대한 의존성을 평가한다.
• DRL이 최적에 가까운 통합 성능를 달성하면서도 진동을 최소화하고 충돌률을 0으로 유지할 수 있음을 입증한다.

제안 방법

• DRL 환경은 다섯 대의 차량을 모델링한다: 통합 중인 차량과 주행로 상의 앞서는 두 대, 뒤따르는 두 대의 차량.
• 상태 공간은 다섯 대의 차량에 대한 상대적 위치, 속도 및 통합 지점까지의 거리 정보를 포함한다.
• 행동 공간은 연속적인 것으로, 통합 차량의 가속도 명령을 나타낸다.
• 딥 디터미니스틱 정책 기반 강화학습(DDPG) 알고리즘을 사용하여 딥 신경망을 활용한 연속 제어 정책을 학습한다.
• 다중 목적 보상 함수는 충돌 회피(충돌에 대한 페널티), 제어 노력, 그리고 가중치 wj를 가진 진동 페널티 항목을 조합한다.
• 안전성과 편안함의 파레토 최적 해를 도출하기 위해 진동 페널티 가중치 wj를 변화시켜 최적의 트레이드오프를 탐색한다.

실험 결과

연구 질문

• RQ1 고속 주행도로의 차도 통합에서 충돌 회피와 진동 최소화 사이의 최적 트레이드오프는 무엇인가?
• RQ2 보상 함수에 진동 페널티를 포함시킬 경우, 통합 동작의 매끄러움은 어떻게 영향을 받는가?
• RQ3 다양한 보상 설정 하에서 DRL 정책이 도출하는 의사결정 전략(예: 앞서는 차량 앞에서 통합 또는 뒤에서 통합)은 무엇인가?
• RQ4 DRL 정책이 진동 페널티가 없는 기준 대비 차량의 진동을 크게 감소시키면서도 충돌을 완전히 방지할 수 있는가?
• RQ5 진동 페널티의 가중치가 제어 동작과 전체 통합 성능에 미치는 영향은 어떠한가?

주요 결과

• 작은 진동 페널티 가중치(wj = 0.00075)를 사용할 경우, 페널티가 없는 기준 대비 차량의 진동은 73% 감소하였으며, 충돌은 전혀 발생하지 않았다.
• 통합 차량은 주로 두 가지 의사결정 전략을 보였다: 뒤따르는 차량 앞에서 통합(80% 이상의 비율로 발생)하거나, 뒤따르는 차량 뒤에서 통합하는 것.
• 앞서서 통합하는 것이 선호된 이유는 더 낮은 진동 크기와 더 높은 누적 할인 보상(짧은 통합 시간과 감소한 정지 페널티로 인해)을 가져왔기 때문이다.
• 진동 페널티가 너무 높은 경우(wj = 0.015), 정책가 충분한 감속을 적용하지 못해 가속도 변화에 대한 과도한 페널티로 인해 충돌이 발생했다.
• 진동 페널티가 없는 경우(wj = 0)에는 가속도와 진동 프로파일이 매우 노이즈가 심해져 충돌 시 페널티 피크로 인해 승객의 편안함이 떨어지고 안정성이 떨어지는 것으로 나타났다.
• DRL 정책는 V2X 통신에 의존하지 않더라도, 혼잡한 교통 환경에서도 안전한 거리 유지를 유지하고 매끄러운 통합 동작을 수행하는 데 성공했다.