[논문 리뷰] Lane Change Decision-Making through Deep Reinforcement Learning

Mukesh Ghimire, Malobika Roy Choudhury외 1명|arXiv (Cornell University)|2021. 12. 24.

Autonomous Vehicle Technology and Safety인용 수 4

한 줄 요약

이 논문은 동적 교통 환경에서 자율 주행 차량의 차선 변경 의사결정을 위한 규칙 기반 딥 Q-네트워크(DQN)를 제안한다. 이는 딥 강화학습과 안전 제약 조건을 융합한 것으로, 0.8의 안전률과 시속 47mph의 평균 속도를 기록하며, 불필요한 차선 변경을 줄이고 충돌 회피 능력을 향상시켜 표준 DQN보다 뛰어난 성능을 보였다.

ABSTRACT

Due to the complexity and volatility of the traffic environment, decision-making in autonomous driving is a significantly hard problem. In this project, we use a Deep Q-Network, along with rule-based constraints to make lane-changing decision. A safe and efficient lane change behavior may be obtained by combining high-level lateral decision-making with low-level rule-based trajectory monitoring. The agent is anticipated to perform appropriate lane-change maneuvers in a real-world-like udacity simulator after training it for a total of 100 episodes. The results shows that the rule-based DQN performs better than the DQN method. The rule-based DQN achieves a safety rate of 0.8 and average speed of 47 MPH

연구 동기 및 목표

• 복잡하고 동적인 교통 조건에서 자율 주행 차량을 위한 견고한 차선 변경 의사결정 시스템을 개발하기 위해.
• 규칙 기반 제약 조건을 딥 Q-학습과 융합하여 차선 변경의 안전성과 효율성을 향상시키기 위해.
• 이전 연구에서 제안된 DQN 기반 차선 변경의 결과를 시뮬레이션 환경에서 재현하고 검증하기 위해.
• 규칙 기반 제약 조건이 안전성, 속도, 차선 변경 빈도 측면에서 DQN 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 강화학습을 통해 훈련된 딥 Q-네트워크(DQN)를 사용하여 최적의 차선 변경 정책을 학습한다.
• 안전성을 확보하기 위해 규칙 기반 제약 조건을 통합하며, 주변 차량과의 최소 거리 유지를 및 충돌 방지를 포함한다.
• 상태 공간은 차량 속도, 주변 차량의 상대적 위치 및 차선 정보를 포함하며, 1차원 벡터로 표현된다.
• 행동 공간은 이산적 선택으로 구성되며, 왼쪽 차선으로의 이동, 오른쪽 차선으로의 이동, 현재 차선 유지 중 하나이다.
• 안전하고 효율적인 주행을 장려하기 위해 보상 함수를 설계하였으며, 충돌 시에는 벌점을, 차선 중심에 가까운 위치와 일관된 속도 유지는 보상을 부여한다.
• 훈련은 Udacity 자율 주행 자동차 시뮬레이터에서 100개의 에피소드 동안 수행되었으며, 평가는 10개의 테스트 에피소드에서 이루어졌다.

실험 결과

연구 질문

• RQ1 규칙 기반 안전 제약 조건을 통합함으로써 DQN 에이전트의 자율 차선 변경 의사결정 성능은 어떻게 향상되는가?
• RQ2 규칙 기반 제약 조건은 차선 변경 빈도와 총 안전률에 어떤 영향을 미치는가?
• RQ3 표준 DQN과 비교할 때 규칙 기반 DQN은 평균 속도, 안전률, 차선 변경 횟수 측면에서 어떻게 다른가?
• RQ4 에이전트는 안전성과 효율성을 유지하면서 실제 도로 조건과 유사한 교통 환경으로 일반화할 수 있는가?

주요 결과

• 규칙 기반 DQN은 표준 DQN의 안전률 0.2에 비해 0.8의 안전률을 기록하여 뚜렷한 성능 향상을 보였다.
• 규칙 기반 DQN은 에피소드당 평균 차선 변경 횟수를 8.80회로 줄였으며, 이는 표준 DQN의 36.20회에 비해 더 선택적이고 효율적인 행동을 의미한다.
• 규칙 기반 DQN은 표준 DQN의 46mph보다 略히 높은 시속 47mph의 평균 속도를 유지하였다.
• 훈련 과정에서 차선 변경 빈도는 에피소드당 평균 64.1회에서 테스트 시 10.0회로 감소하여, 에이전트가 필요할 때만 차선을 변경하는 것을 학습한 것으로 나타났다.
• 초기 훈련 단계에서는 탐색으로 인해 기민한 행동을 보였지만, 시간이 지남에 따라 안정화되어 효과적인 정책 학습이 이루어졌음을 보였다.
• 연구에서 미세한 충돌이 연쇄 사고를 유발할 수 있음을 관찰하여, 이러한 사건에 대해 보다 강력하게 벌점을 적용할 수 있도록 보상 함수를 정교화할 필요성이 있다는 점을 확인하였다.