[논문 리뷰] Automated Lane Change Strategy using Proximal Policy Optimization-based Deep Reinforcement Learning

Fei Ye, Xuxin Cheng외 3명|arXiv (Cornell University)|2020. 02. 07.

Autonomous Vehicle Technology and Safety참고 문헌 25인용 수 18

한 줄 요약

이 논문은 프록시멀 정책 최적화(PPO) 기반 딥 강화학습을 사용하여 안전하고 효율적이며 편안한 자동 차선 변경 전략을 제안한다. 이 방법은 안전성, 편안함, 효율성을 균형 잡고 실시간으로 혼잡한 교통 환경에서 차선 변경 결정을 내릴 수 있도록 에이전트를 훈련시킨다. 시험에서 99.15%의 성공률과 0.5%의 충돌률을 기록하며 규칙 기반 기준선을 능가한다.

ABSTRACT

Lane-change maneuvers are commonly executed by drivers to follow a certain routing plan, overtake a slower vehicle, adapt to a merging lane ahead, etc. However, improper lane change behaviors can be a major cause of traffic flow disruptions and even crashes. While many rule-based methods have been proposed to solve lane change problems for autonomous driving, they tend to exhibit limited performance due to the uncertainty and complexity of the driving environment. Machine learning-based methods offer an alternative approach, as Deep reinforcement learning (DRL) has shown promising success in many application domains including robotic manipulation, navigation, and playing video games. However, applying DRL to autonomous driving still faces many practical challenges in terms of slow learning rates, sample inefficiency, and safety concerns. In this study, we propose an automated lane change strategy using proximal policy optimization-based deep reinforcement learning, which shows great advantages in learning efficiency while still maintaining stable performance. The trained agent is able to learn a smooth, safe, and efficient driving policy to make lane-change decisions (i.e. when and how) in a challenging situation such as dense traffic scenarios. The effectiveness of the proposed policy is validated by using metrics of task success rate and collision rate. The simulation results demonstrate the lane change maneuvers can be efficiently learned and executed in a safe, smooth, and efficient manner.

연구 동기 및 목표

• 복잡하고 동적인 교통 환경에서 자율주행차를 위한 안전하고 효율적이며 편안한 자동 차선 변경 전략을 개발하는 것.
• 예기치 못한 상황에서의 유연성 부족과 높은 충돌률 등의 문제점을 겪는 규칙 기반 시스템의 한계를 극복하는 것.
• PPO를 사용하여 신뢰 영역과 클리핑된 목적함수를 적용함으로써 딥 강화학습의 샘플 비효율성과 느린 학습을 해결하는 것.
• 훈련 및 추론 중 잠재적으로 치명적인 동작을 오버라이드하는 안전성 개입 모듈을 통합하는 것.
• 성공률, 충돌률, 누적 보상 등의 시뮬레이션 지표를 사용하여 방법을 검증하는 것.

제안 방법

• 액터-크리틱 아키텍처를 사용한 프록시멀 정책 최적화(PPO) 알고리즘을 활용하여 고수준의 차선 변경 정책을 학습한다.
• 신뢰 영역을 강제로 유지하기 위해 클리핑된 목적함수를 사용함으로써, 전통적인 TRPO에 비해 훈련 안정성과 샘플 효율성이 향상됨.
• 안전성 제약을 위반할 경우 예측된 동작을 대체하는 안전성 개입 모듈을 통합하여 안전한 탐색을 보장한다.
• 정책 학습을 이끄는 데 사용하기 위해 편안함, 효율성, 안전성 보상의 다중 구성 요소 보상 함수를 설계한다.
• 결정 부문과 저수준 제어를 분리하기 위해 종래의 지능형 운전자 모델(IDM)을 사용하여 종방향 제어를 수행한다.
• 연속적인 상태 특징(상대 위치, 속도, 충돌까지의 시간(TTC))을 사용하여 혼잡한 교통 환경에서 에이전트를 시뮬레이션 환경에서 훈련시킨다.

실험 결과

연구 질문

• RQ1 PPO 기반 딥 강화학습은 높은 성공률과 낮은 충돌률을 기록할 수 있을 정도로 혼잡한 교통 환경에서 안전하고 효율적인 차선 변경 정책을 학습할 수 있는가?
• RQ2 동일한 조건에서 제안된 PPO 기반 방법은 규칙 기반 에이전트에 비해 성공률과 충돌률 측면에서 어떻게 비교되는가?
• RQ3 안전성 개입 모듈은 성능을 저하시키지 않으면서 훈련 안정성과 일반화 능력을 얼마나 향상시키는가?
• RQ4 보상 함수의 개별 구성 요소(편안함, 효율성, 안전성)는 최종 정책 행동에 어떻게 기여하는가?
• RQ5 에이전트는 예상치 못한 교통 상황에 대해 높은 성능과 안전성을 유지하면서 일반화할 수 있는가?

주요 결과

• 훈련된 PPO 에이전트는 1024타임스텝의 환경에서 50회의 테스트 롤아웃에서 99.15%의 성공률과 0.50%의 충돌률을 기록하였다.
• 초기 훈련 시 충돌률이 20%에서 훈련 종료 시 2%로 감소하여 시간이 지남에 따라 안전성이 향상됨을 나타냈다.
• 탐색 초기에는 안전성 보상이 일시적으로 감소했지만, 위험한 동작을 피하는 법을 학습함에 따라 점차 증가하였다.
• 평균 누적 보상 곡선은 지속적인 향상을 보이며 다중 목표 보상 함수의 효과적인 학습을 나타냈다.
• PPO 기반 에이전트는 규칙 기반 에이전트를 크게 능가했다: 최고 성능을 보인 TTC 기반 규칙 기반 에이전트보다 성공률이 9.64% 높고 충돌률은 6.64% 낮았다.
• 10미터 안전 간격 기준을 적용한 규칙 기반 에이전트는 충돌률 0%를 기록했지만 성공률는 70%에 그쳐, 안전성과 효율성 사이의 상충관계가 존재함을 보여주었으며, PPO 에이전트는 이를 성공적으로 완화하였다.