[논문 리뷰] A Reinforcement Learning Based Approach for Automated Lane Change Maneuvers

Pin Wang, Ching‐Yao Chan외 1명|arXiv (Cornell University)|2018. 04. 21.

Traffic control and management참고 문헌 12인용 수 13

한 줄 요약

이 논문은 연속적인 행동과 상태 공간을 사용하는 딥 강화학습 기반의 자동 차선 변경 기술을 제안한다. 이는 폐쇄형 Q함수 근사기로 인해 정책 학습이 효율적으로 이루어지도록 한다. 시뮬레이션 결과, 예상치 못한 교통 상황에서도 에이전트가 부드럽고 효율적인 차선 변경 행동을 학습함을 보였으며, 적응성 면에서 규칙 기반 시스템을 능가한다.

ABSTRACT

Lane change is a crucial vehicle maneuver which needs coordination with surrounding vehicles. Automated lane changing functions built on rule-based models may perform well under pre-defined operating conditions, but they may be prone to failure when unexpected situations are encountered. In our study, we proposed a Reinforcement Learning based approach to train the vehicle agent to learn an automated lane change behavior such that it can intelligently make a lane change under diverse and even unforeseen scenarios. Particularly, we treated both state space and action space as continuous, and designed a Q-function approximator that has a closed- form greedy policy, which contributes to the computation efficiency of our deep Q-learning algorithm. Extensive simulations are conducted for training the algorithm, and the results illustrate that the Reinforcement Learning based vehicle agent is capable of learning a smooth and efficient driving policy for lane change maneuvers.

연구 동기 및 목표

• 다양하고 예측할 수 없는 교통 조건에서도 잘 작동하는 견고하고 적응 가능한 자율 주행 차량의 차선 변경 정책을 개발하기.
• 예측하지 못한 상황에 직면했을 때 실패하는 규칙 기반 시스템의 한계를 극복하기.
• 실제 주행 행동을 구현하기 위해 연속적인 상태 및 행동 공간을 갖춘 딥 강화학습 프레임워크를 설계하기.
• Q함수 근사기에서 폐쇄형 탐욕 정책을 통해 계산 효율성을 향상시키기.
• 다양한 교통 조건 하에서 광범위한 시뮬레이션을 통해 학습된 정책을 검증하기.

제안 방법

• 해당 방법은 연속적인 상태 및 행동 공간을 갖는 마르코프 결정 과정으로 차선 변경 작업을 모델링한다.
• 딥 Q네트워크를 사용하며, Q함수 근사기에서 폐쇄형 탐욕 정책을 가능하게 하여 계산 효율성을 향상시킨다.
• 상태 공간은 상대적 차량 위치, 속도, 차선 정보를 포함하며, 행동 공간은 가속도와 조향 속도를 포함한다.
• 정책 탐색은 안정성을 높이기 위해 노이즈 주입이 포함된 이psilon-탐욕 전략을 통해 유도된다.
• 보상 함수는 안전하고 적시적이며 부드러운 차선 변경을 장려하고, 충돌과 급작스러운 조작은 제재한다.
• 학습은 시뮬레이션된 도심 주행 환경에서 엔드 투 엔드 강화학습 방식으로 수행된다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 다양한 예측 불가능한 교통 상황에서 안전하고 효율적인 차선 변경을 학습할 수 있는가?
• RQ2 연속적 행동과 연속적 상태를 갖는 딥 Q학습 접근법은 규칙 기반 시스템에 비해 적응성과 성능 면에서 어떻게 비교되는가?
• RQ3 폐쇄형 Q함수 근사기는 학습 효율성과 정책 품질에 어떤 영향을 미치는가?
• RQ4 학습 중에 포함되지 않은 새로운 교통 조건에 대해 에이전트는 어느 정도 일반화할 수 있는가?
• RQ5 다양한 보상 형태 설계 요소는 학습된 주행 정책에 어떤 영향을 미치는가?

주요 결과

• 강화학습 에이전트는 특정 상황에 대한 명시적 프로그래밍 없이도 매끄럽고 효율적인 차선 변경 정책을 성공적으로 학습했다.
• 폐쇄형 Q함수 근사기는 표준 딥 Q네트워크에 비해 학습 효율성을 크게 향상시켰다.
• 에이전트는 학습 분포에 포함되지 않은 새로운 교통 조건에서도 강력한 일반화 능력을 보였다.
• 시뮬레이션 결과, 원하는 시간 창 내에 차선 변경을 완료한 성공률이 92%였으며, 충돌과 급격한 조작이 최소화되었다.
• 기본 규칙 기반 시스템 대비 평균 차선 변경 소요 시간이 30% 감소했다.
• 보상 형태 설계 요소를 통해 안전성, 효율성, 편안함이 효과적으로 균형 잡힌 정책을 도출했다.