[논문 리뷰] Lane Change Decision-making through Deep Reinforcement Learning with Rule-based Constraints

Junjie Wang, Qichao Zhang외 2명|arXiv (Cornell University)|2019. 03. 30.

Autonomous Vehicle Technology and Safety참고 문헌 17인용 수 12

한 줄 요약

이 논문은 안전성과 효율성을 보장하기 위해 고수준 DQN 정책 학습과 저수준 규칙 기반 궤적 제약을 조합한 규칙 기반 딥 Q-네트워크(DQN) 접근법을 제안한다. 이 방법은 실제 세계 유사 시뮬레이터에서 기준 DQN 및 규칙 기반 방법보다 평균 속도가 높고(46.99 MPH), 차선 변경 횟수가 적고(에피소드당 8.80회), 안전성도 향상된 결과를 보였다(80%의 안전성 비율).

ABSTRACT

Autonomous driving decision-making is a great challenge due to the complexity and uncertainty of the traffic environment. Combined with the rule-based constraints, a Deep Q-Network (DQN) based method is applied for autonomous driving lane change decision-making task in this study. Through the combination of high-level lateral decision-making and low-level rule-based trajectory modification, a safe and efficient lane change behavior can be achieved. With the setting of our state representation and reward function, the trained agent is able to take appropriate actions in a real-world-like simulator. The generated policy is evaluated on the simulator for 10 times, and the results demonstrate that the proposed rule-based DQN method outperforms the rule-based approach and the DQN method.

연구 동기 및 목표

• 자율 주행 차량이 복잡하고 불확실한 교통 환경에서 안전하고 효율적인 차선 변경 의사결정을 수행하는 데 도전하는 데 목적을 두며.
• 모르는 상황에서 일반화 능력이 떨어지는 순수 규칙 기반 시스템의 한계를 극복하는 데 목적을 두며.
• 학습 중 안전성과 신뢰성을 향상시키기 위해 규칙 기반 제약을 통합함으로써 표준 DQN을 개선하는 데 목적을 두며.
• 밀도가 높고 낮은 밀도의 교통 조건을 포함한 현실적인 시뮬레이션 환경에서 제안된 방법을 평가하는 데 목적을 두며.
• 고수준 강화학습과 저수준 규칙 기반 궤적 보정을 조합함으로써 속도, 효율성, 안전성 측면에서 뛰어난 성능을 달성할 수 있음을 입증하는 데 목적을 두며.

제안 방법

• 딥 Q-네트워크(DQN)는 주변 차량의 상대적 위치, 속도 및 차선 정보를 포함한 상태 표현을 기반으로 고수준 횡방향 차선 변경 결정을 내리도록 훈련된다.
• 상태 표현은 자동차의 상태와 주변 교통 역학의 환경적 맥락을 포괄하도록 설계되어 의사결정에 필요한 정보를 수집한다.
• 규칙 기반 보상 함수는 차선 이탈, 충돌, 과도한 차선 변경에 대해 벌점을 주고, 진전과 부드러운 전환을 장려함으로써 안전하고 효율적인 행동을 유도한다.
• 저수준 궤적 생성 단계에서 규칙 기반 제약 조건을 적용하여 DQN이 생성한 동작을 보정하고 검증함으로써 운동학적 타당성과 충돌 회피를 보장한다.
• 훈련 중 탐색과 이용의 균형을 이루기 위해 감소하는 ε(ε₀ = 1.0, λ_decay = 0.99985, ε_min = 0.03)를 사용하는 엡실론-그리디 탐색 전략을 적용한다.
• 훈련 과정은 100개의 에피소드로 구성되며, 각 에피소드는 실시간 환경에서 전체 루프를 시뮬레이션하며, 에이전트는 각 에피소드가 완료된 후 다시 시작된다.

실험 결과

연구 질문

• RQ1 DQN 기반 에이전트는 복잡하고 실제 세계 유사 교통 시뮬레이션 환경에서 효과적인 차선 변경 정책을 학습할 수 있는가?
• RQ2 규칙 기반 제약 조건을 통합함으로써 DRL 기반 차선 변경 결정의 안전성과 신뢰성이 순수 DQN 또는 규칙 기반 시스템보다 향상되는가?
• RQ3 제안된 방법은 평균 속도를 유지하거나 향상시키면서 차선 변경 빈도를 얼마나 줄일 수 있는가?
• RQ4 규칙 기반 DQN 접근법은 기준 방법에 비해 안전성, 효율성, 일반화 능력의 균형을 얼마나 더 잘 달성하는가?
• RQ5 상태 표현, 보상 형상화, 규칙 기반 궤적 보정 등의 다양한 구성 요소가 최종 성능에 기여하는 정도는 어떠한가?

주요 결과

• 규칙 기반 DQN 방법은 46.99 MPH의 가장 높은 평균 속도를 기록했으며, 규칙 기반 정책(45.22 MPH)과 DQN 전용 기준(46.16 MPH)을 모두 초월했다.
• 제안된 방법은 에피소드당 평균 차선 변경 횟수를 8.80회로 줄여, DQN 전용 기준(37.40회)보다 크게 감소시켰고, 규칙 기반 정책(8.40회)과 유사한 수준을 확보했다.
• 규칙 기반 DQN은 80%의 안전성 비율을 달성했으며, DQN 전용 기준(20%)과 규칙 기반 정책(60%)보다 뚜렷이 높아 충돌 방지를 위한 성능 향상을 확인했다.
• 훈련 진행 상황을 분석한 결과 평균 속도는 증가하고 차선 변경 빈도는 감소하는 추세를 보였으며, 이는 효과적인 정책 학습과 수렴을 의미한다.
• 높은 속도 성능와 함께 운동 횟수를 줄임으로써 효율성과 안전성 간의 균형을 성공적으로 달성했으며, 개선된 트레이드오프를 입증했다.
• 규칙 기반 궤적 제약 조건의 통합은 DRL 결정의 안전성을 크게 향상시켰으며, 학습 효율성이나 성능에 영향을 주지 않았다.