[논문 리뷰] Automated vehicle's behavior decision making using deep reinforcement learning and high-fidelity simulation environment

Yingjun Ye, Xiaohui Zhang외 1명|arXiv (Cornell University)|2018. 04. 17.

Autonomous Vehicle Technology and Safety참고 문헌 24인용 수 11

한 줄 요약

이 논문은 고정밀 시뮬레이션 환경과 통합된 딥 강화학습(DRL) 기반 프레임워크를 제안하여 차량 추종 및 차선 변경 행동에 중점을 두고 자율주행차의 행동 결정을 훈련한다. 보다 최적화된 보상 설계를 통해 복잡한 주행 행동을 효과적으로 학습함으로써 지능형 운전자 모델( IDM ) 대비 주행 효율을 7.9% 향상시키고, 다차선 환경에서는 평균 속도를 2.4% 향상시킨다.

ABSTRACT

Automated vehicles are deemed to be the key element for the intelligent transportation system in the future. Many studies have been made to improve the Automated vehicles' ability of environment recognition and vehicle control, while the attention paid to decision making is not enough though the decision algorithms so far are very preliminary. Therefore, a framework of the decision-making training and learning is put forward in this paper. It consists of two parts: the deep reinforcement learning training program and the high-fidelity virtual simulation environment. Then the basic microscopic behavior, car-following, is trained within this framework. In addition, theoretical analysis and experiments were conducted on setting reward function for accelerating training using deep reinforcement learning. The results show that on the premise of driving comfort, the efficiency of the trained Automated vehicle increases 7.9% compared to the classical traffic model, intelligent driver model. Later on, on a more complex three-lane section, we trained the integrated model combines both car-following and lane-changing behavior, the average speed further grows 2.4%. It indicates that our framework is effective for Automated vehicle's decision-making learning.

연구 동기 및 목표

• 인식 및 제어 분야의 발전에도 불구하고 자율주행차의 결정부가 여전히 미발전 상태임을 고려하여 이를 해결하고자 한다.
• 딥 강화학습과 고정밀 시뮬레이션을 융합한 확장 가능한 훈련 프레임워크를 개발하여 행동 결정부를 향상시키고자 한다.
• 보상 함수 설계가 훈련 효율성과 주행 성능에 미치는 영향을 조사하고자 한다.
• 프레임워크를 복잡한 교통 환경에서의 기본적인 차량 추종 및 통합된 차량 추종/차선 변경 행동에 대해 평가하고자 한다.

제안 방법

• 결정 정책를 훈련하기 위해 고정밀 가상 시뮬레이션 환경에서 딥 Q네트워크(DQN)를 활용한 정책 학습을 수행한다.
• 주행 편안함, 안전성, 효율성을 균형 있게 유지하기 위해 다중 구성 요소로 이루어진 보상 함수를 설계하여 수렴 속도를 향상시킨다.
• 실제 도로의 교통 역학을 정확한 차량 역학 및 환경 상호작용을 통해 재현하는 시뮬레이션 환경을 구축한다.
• 모델은 먼저 단차선 차량 추종 행동에 대해 훈련한 후, 차량 추종 및 차선 변경 동작을 통합한 3차선 시나리오로 확장한다.
• 학습 안정성 향상과 샘플 효율성 향상을 위해 하이퍼파라미터 및 훈련 하이퍼휴리스틱을 최적화한다.
• 수동으로 설정된 규칙나 사전 정의된 행동 모델에 의존하지 않고, 엔드 투 엔드 방식으로 행동 정책를 훈련할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 어떻게 고정밀 시뮬레이션 환경에서 복잡한 주행 결정을 위한 자율주행차 훈련에 효과적으로 적용될 수 있는가?
• RQ2 어떤 보상 함수 설계가 훈련 수렴 속도를 가속화하면서도 주행 편안함과 안전성을 유지하는가?
• RQ3 제안된 프레임워크는 기존의 지능형 운전자 모델(IDM)과 비교해 주행 효율을 얼마나 향상시키는가?
• RQ4 훈련된 정책은 차량 추종 및 차선 변경 행동을 동시에 포함하는 더 복잡한 교통 환경에 일반화될 수 있는가?
• RQ5 고정밀 시뮬레이션 통합은 학습된 결정 정책의 강건성과 현실성에 어떻게 기여하는가?

주요 결과

• 단차선 차량 추종 시나리오에서 DRL 기반 정책은 지능형 운전자 모델(IDM) 대비 주행 효율을 7.9% 향상시켰다.
• 최적화된 보상 함수는 주행 편안함과 안전성을 유지하면서도 훈련 수렴 속도를 크게 향상시켰다.
• 3차선 시뮬레이션 환경에서 통합 모델은 기준 모델 대비 평균 속도를 2.4% 향상시켰다.
• 명시적인 규칙 기반 프로그래밍 없이도 차량 추종 및 차선 변경 결정 간의 협동 행동을 성공적으로 학습했다.
• 고정밀 시뮬레이션을 통해 현실적인 정책 훈련이 가능했으며, 속도 및 효율성에 대한 정량적 지표를 통해 성능 향상이 검증되었다.
• 결과적으로, 복잡한 교통 환경에서 자율주행차의 결정부를 위한 엔드 투 엔드 DRL 훈련의 실현 가능성과 효과성을 입증하였다.