[논문 리뷰] Deep Reinforcement Learning Based High-level Driving Behavior Decision-making Model in Heterogeneous Traffic

Zhengwei Bai, Baigen Cai외 2명|arXiv (Cornell University)|2019. 02. 15.

Autonomous Vehicle Technology and Safety참고 문헌 13인용 수 10

한 줄 요약

이 논문은 이질적 교통 환경에서 연결된 차량을 위한 딥 강화학습(DRL) 기반 고수준 주행 행동 의사결정 모델을 제안한다. 초광역 매트릭스(HGM)를 사용해 V2X 데이터를 통합하고, 두 개의 스트림을 공유하는 파rameter-sharing DNN와 Dueling DQN을 활용해 최적의 정책을 학습한다. 이 모델은 빠른 학습 속도, 적은 차선 변경 횟수, 다양한 연결 차량 비율에서 뛰어난 일반화 성능을 보이며, 기준 방법들보다 속도와 효율성 면에서 뛰어나다.

ABSTRACT

High-level driving behavior decision-making is an open-challenging problem for connected vehicle technology, especially in heterogeneous traffic scenarios. In this paper, a deep reinforcement learning based high-level driving behavior decision-making approach is proposed for connected vehicle in heterogeneous traffic situations. The model is composed of three main parts: a data preprocessor that maps hybrid data into a data format called hyper-grid matrix, a two-stream deep neural network that extracts the hidden features, and a deep reinforcement learning network that learns the optimal policy. Moreover, a simulation environment, which includes different heterogeneous traffic scenarios, is built to train and test the proposed method. The results demonstrate that the model has the capability to learn the optimal high-level driving policy such as driving fast through heterogeneous traffic without unnecessary lane changes. Furthermore, two separate models are used to compare with the proposed model, and the performances are analyzed in detail.

연구 동기 및 목표

• 이질적 교통 환경에서 연결된 차량과 인간 운전 차량이 혼재된 상황에서 고수준 주행 의사결정 문제를 해결하기 위해.
• 기존 모델이 원시 센서 데이터에 의존하거나 비연결 차량의 행동이 균일하다는 가정을 하는 데서 비롯되는 한계를 극복하기 위해.
• 통합된 데이터 포맷을 통해 원시 V2X 데이터를 신경망에서 분리함으로써 모델의 일반화 능력과 강건성을 향상시키기 위해.
• 모의 이질적 환경에서 엔드 투 엔드 학습을 통해 빠르고 안정적인 주행(불필요한 차선 변경 없이)과 같은 최적의 정책을 학습하는 DRL 프레임워크를 개발하기 위해.
• 다양한 비율의 연결 차량(CAV)과 인간 운전 차량(HV)에서의 성능과 일반화 능력을 검증하기 위해.

제안 방법

• 모델은 원시 V2X 데이터를 통합적이고 구조화된 형식으로 변환하기 위해 초광역 매트릭스(HGM)를 사용하여 입력 표현을 신경망에서 분리한다.
• 두 개의 스트림을 공유하는 딥 네트워크가 HGM에서 공간적 및 시간적 특징을 처리하여 이질적 데이터의 효과적인 융합을 가능하게 한다.
• 정책 네트워크는 상태-행동 가치를 추정하기 위해 Dueling DQN 아키텍처를 활용하여 가치 함수 근사 및 정책 학습을 향상시킨다.
• DRL 에이전트는 100만 단계 동안 1에서 0.1로 선형 감소하는 ε-그리디 탐색 전략을 사용하여 학습된다.
• CAV, AHV(자율 인간 운전 차량), CHV(연결된 인간 운전 차량)의 비율이 다른 다섯 가지 이질적 교통 시나리오를 포함하는 맞춤형 시뮬레이션 환경을 구축했다.
• 모델은 에이전트가 환경을 관찰하고 가속, 차선 변경 등의 행동을 취하며 속도, 안전성, 효율성 기반의 풍부한 보상(reward)을 수신하는 폐쇄형 루프 시뮬레이션에서 학습 및 테스트된다.

실험 결과

연구 질문

• RQ1 DRL 기반 모델은 불필요한 차선 변경 없이 밀도 높은 이질적 교통 환경에서 빠르고 안전하며 효율적인 주행을 가능하게 하는 최적의 고수준 주행 정책을 학습할 수 있는가?
• RQ2 제안된 HGM 데이터 매핑 기법은 원시 V2X 데이터를 직접 사용하는 것과 비교해 모델의 일반화 능력을 어떻게 향상시키는가?
• RQ3 두 개의 스트림을 공유하는 파rameter-sharing DNN는 복잡한 교통 상황에서 하이브리드 V2X 입력으로부터 특징 추출을 어떻게 향상시키는가?
• RQ4 다양한 CAV 비율에서 기존 방법들(예: Min의 방법, 좌표 방법)과 비교해 제안된 모델의 성능은 속도, 차선 변경 횟수, 추월 행동 측면에서 어떻게 나타나는가?
• RQ5 모델은 다양한 이질적 교통 구성에서 안정적인 성능과 일반화 능력을 유지하는가?

주요 결과

• 제안된 모델은 4번 시나리오(75% CAV)에서 평균 속도 1974 km/h를 기록하여 Min의 방법(1907 km/h)과 좌표 방법(1875 km/h)을 크게 앞서며 뛰어난 성능을 보였다.
• 기준 방법들보다 평균 차선 변경 횟수를 더 효과적으로 줄였으며, 모든 테스트 시나리오에서 가장 낮은 수치를 기록하여 정책의 효율성이 뛰어나다는 것을 시사한다.
• 5번 시나리오(100% CAV)에서는 1969 km/h의 성능을 기록하여 완전히 연결된 환경에서도 뛰어난 성능을 보였다.
• HGM을 생략하는 좌표 방법은 성능 저하를 보였으며(예: 3번 시나리오에서 1867 km/h), 이는 HGM이 모델의 일반화 능력을 향상시키는 데 핵심적인 역할을 한다는 것을 확인한다.
• 제안된 모델는 추월 행동의 변동성이 낮아 안정적인 학습을 보였으며, 반면 Min의 방법은 학습 중 높은 변동성을 보였다.
• 모델은 모든 다섯 개의 테스트 시나리오에서 뛰어난 일반화 능력을 보였으며, CAV 비율에 관계없이 높은 성능를 유지했다. 반면 Min의 방법은 시나리오 간 거의 동일한 결과를 보이며 적응 능력이 떨어진다는 것을 시사한다.