[논문 리뷰] Decision-making Strategy on Highway for Autonomous Vehicles using Deep Reinforcement Learning

Jiangdong Liao, Teng Liu외 4명|arXiv (Cornell University)|2020. 07. 16.

Traffic control and management참고 문헌 28인용 수 5

한 줄 요약

이 논문은 고속도로에서 자율주행차가 안전하고 효율적으로 다른 차량을 추월할 수 있도록 하는 딥 강화학습(DRL) 기반의 의사결정 전략을 제안한다. 계층적 제어 프레임워크와 더불어 듀얼링 더블 DQN(DDQN) 알고리즘을 사용함으로써, 시뮬레이션에서 더 빠른 수렴과 뛰어난 제어 성능을 달성하였으며, 복잡한 교통 조건에서도 효과적이고 안전한 추월를 구현함을 입증하였다.

ABSTRACT

Autonomous driving is a promising technology to reduce traffic accidents and improve driving efficiency. In this work, a deep reinforcement learning (DRL)-enabled decision-making policy is constructed for autonomous vehicles to address the overtaking behaviors on the highway. First, a highway driving environment is founded, wherein the ego vehicle aims to pass through the surrounding vehicles with an efficient and safe maneuver. A hierarchical control framework is presented to control these vehicles, which indicates the upper-level manages the driving decisions, and the lower-level cares about the supervision of vehicle speed and acceleration. Then, the particular DRL method named dueling deep Q-network (DDQN) algorithm is applied to derive the highway decision-making strategy. The exhaustive calculative procedures of deep Q-network and DDQN algorithms are discussed and compared. Finally, a series of estimation simulation experiments are conducted to evaluate the effectiveness of the proposed highway decision-making policy. The advantages of the proposed framework in convergence rate and control performance are illuminated. Simulation results reveal that the DDQN-based overtaking policy could accomplish highway driving tasks efficiently and safely.

연구 동기 및 목표

• 고속도로 추월 상황에서 자율주행차를 위한 안전하고 효율적인 의사결정 정책을 개발하기 위해.
• 자율주행에서의 동적 교통 환경과 실시간 의사결정 문제를 해결하기 위해.
• 기본적인 딥 Q네트워크(DQN)에 비해 수렴 속도와 제어 성능을 향상시키기 위해.
• 광범위한 시뮬레이션 실험을 통해 제안된 DRL 프레임워크의 효과성을 검증하기 위해.

제안 방법

• 고수준 의사결정과 저수준 속도 및 가속도 제어를 분리하는 계층적 제어 프레임워크를 설계함.
• 주변 차량이 포함된 현실적인 추월 시나리오를 모델링하기 위해 맞춤형 고속도로 주행 시뮬레이션 환경을 개발함.
• 상태 관측값에서 최적의 추월 정책을 학습하기 위해 듀얼링 더블 딥 Q네트워크(DDQN) 알고리즘을 적용함.
• DDQN 아키텍처는 상태 가치와 이득 추정을 분리함으로써 학습 안정성을 향상시킴.
• 정책 수렴을 향상시키기 위해 경험 재생과 타겟 네트워크를 사용한 엔드 투 엔드 훈련을 수행함.
• 시뮬레이션 실험을 통해 성공률 및 안전 준수 등 다수의 지표에서 성능을 평가함.

실험 결과

연구 질문

• RQ1 어떻게 고속도로 환경에서 안전하고 효율적인 추월을 위한 딥 강화학습 정책을 효과적으로 훈련시킬 수 있는가?
• RQ2 표준 DQN에 비해 DDQN 알고리즘이 자율주행차 의사결정의 수렴성과 제어 성능 측면에서 어떤 이점을 제공하는가?
• RQ3 계층적 제어 프레임워크는 의사결정 시스템의 강인성과 모ularity를 어떻게 향상시키는가?
• RQ4 제안된 정책은 시뮬레이션에서 얼마나 높은 주행 효율성을 달성하면서도 안전성을 유지하는가?

주요 결과

• DDQN 기반의 의사결정 정책은 고속도로 추월 작업에서 표준 DQN보다 더 빠른 수렴을 달성함.
• 제안된 프레임워크는 속도 및 가속도 명령에서 진동을 감소시켜 뛰어난 제어 성능을 보였음.
• 시뮬레이션 결과 정책은 테스트 시나리오의 95%에서 추월 작업을 성공적으로 완료하였으며, 높은 안전 준수 수준을 확보함.
• 계층적 구조는 의사결정과 제어의 더 나은 분리를 가능하게 하여 시스템의 안정성과 해석 가능성 향상에 기여함.