[논문 리뷰] A Deep Reinforcement Learning Driving Policy for Autonomous Road Vehicles

Konstantinos Makantasis, Maria Kontorinaki외 1명|arXiv (Cornell University)|2019. 05. 22.

Traffic control and management인용 수 5

한 줄 요약

이 논문은 자율 고속도로 차량을 위한 딥 강화학습(DRL) 기반 주행 정책을 제안하며, 이는 더블 딥 Q-네트워크(DDQN)를 사용하여 실시간, 모델 기반의 의사결정을 가능하게 하여 다양한 교통 환경에 일반화된다. 이 정책은 기준 SUMO 설정보다 높은 평균 속도와 더 전략적인 차선 변경을 달성하지만, 충돌 회피 보장이 없어 2–4%의 충돌률을 보이며, 안전 인지 저수준 제어 계층이 필요함을 시사한다.

ABSTRACT

This work regards our preliminary investigation on the problem of path planning for autonomous vehicles that move on a freeway. We approach this problem by proposing a driving policy based on Reinforcement Learning. The proposed policy makes minimal or no assumptions about the environment, since no a priori knowledge about the system dynamics is required. We compare the performance of the proposed policy against an optimal policy derived via Dynamic Programming and against manual driving simulated by SUMO traffic simulator.

연구 동기 및 목표

• 시스템 동역학이나 환경 모델에 대한 사전 지식 없이도 고속도로에서 실시간, 강건한 주행 정책을 개발하는 것.
• DRL 정책의 성능을 SUMO 내 최적의 동적 프rogramming 솔루션과 수동 주행 시뮬레이션과 비교 평가하는 것.
• 다양한 운전 습관을 가진 복잡한 혼합 교통 환경에서 DRL 정책의 일반화 능력과 안정성 탐구.
• 학습 기반 정책의 한계, 특히 충돌 회피 측면에서의 문제점을 규명하고 안전한 구현을 위한 길을 모색하는 것.

제안 방법

• 주행 정책는 환경 모델링이 필요 없이 원시 상태 관측치에서 최적 행동을 학습하는 더블 딥 Q-네트워크(DDQN)를 사용하여 구현된다.
• 상태 표현은 주변 차량의 상대적 위치와 속도를 포함하여, 사전 가정 없이 교통 상황을 인지할 수 있도록 한다.
• 보상 함수는 종방향 및 횡방향 가속도를 최소화하여 승객의 편안함을 증진시키고, 전진 추진과 충돌 회피를 장려하도록 설계된다.
• 학습은 세 차선 고속도로와 혼합된 수동 및 자율 차량이 존재하는 SUMO 기반 교통 시뮬레이션 환경에서 수행된다.
• 다양한 교통 밀도와 운전 실수 수준(σ = 0.0 및 σ = 0.5)에서의 성능을 평가하여 정책의 강건성을 검증한다.
• 충돌 수, 차선 변경 횟수, 평균 속도를 측정하여, SUMO 기본 동작 및 수동 주행 행동과의 성능을 기준으로 비교한다.

실험 결과

연구 질문

• RQ1 DRL 기반 주행 정책는 차량 동역학이나 환경 모델에 대한 사전 지식 없이도 예측할 수 없는 교통 환경에 일반화될 수 있는가?
• RQ2 DDQN 기반 정책의 성능은 최적의 동적 프로그래밍 및 수동 주행과 비교해 속도, 안전성, 주행 조작 측면에서 어떻게 다른가?
• RQ3 학습 기반 정책에서 주행 효율성(속도 및 차선 변경 횟수)과 안전성(충돌률) 사이의 상충 관계는 어떠한가?
• RQ4 운전 실수(σ = 0.5)는 실제 교통 환경과 유사한 조건에서 DRL 정책의 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• 느린 차량이 18 m/s로 주행할 때 DDQN 기반 정책는 평균 속도 20.71 m/s를 기록하여 SUMO 기본 설정(20.22 m/s)과 수동 주행 설정(19.48 m/s)을 모두 초월했다.
• 정책는 평균적으로 1.93회/시나리오의 차선 변경을 수행하여 SUMO 기본 설정(0.99회)과 수동 주행 설정(0.0회)보다 훨씬 높은 전략적 주행 조작 능력을 보였다.
• 높은 속도와 주행 조작 능력에도 불구하고 이상적인 주행 조건(σ = 0.0)에서 2%의 충돌률을 보이며, 보장된 안전성의 결여를 시사했다.
• 불완전한 주행 조건(σ = 0.5)에서는 충돌률이 3–4%로 증가하여 교통 변동성에 민감함을 보였다.
• 정책는 다양한 시나리오에서 잘 일반화되었으며, 다양한 속도 설정과 운전 습관에 대해 일관된 성능을 유지했다.
• 결과적으로 DRL 정책는 고효율성과 일반화 능력을 달성할 수 있지만, 충돌 없는 운영을 보장하기 위해 안전 인지 저수준 제어 메커니즘과 통합이 필요함을 확인했다.