[논문 리뷰] Decision-making at Unsignalized Intersection for Autonomous Vehicles: Left-turn Maneuver with Deep Reinforcement Learning

Wang, Feng, Shi, Dongjie외 2명|arXiv (Cornell University)|2020. 08. 14.

Traffic control and management참고 문헌 30인용 수 15

한 줄 요약

이 논문은 사전 신호가 없는 사거리에서 자율 주행 차량이 안전하고 효율적으로 좌회전 운전을 수행할 수 있도록 하는 딥 강화학습(DRL) 기반의 의사결정 프레임워크를 제안한다. 딥 Q 네트워크(DQN)와 더블 DQN 알고리즘을 사용하여 시뮬레이션을 통해 최적의 정책을 학습함으로써, 복잡한 도심 환경에서 충돌률을 크게 감소시키고 교통 효율성을 향상시킨다.

ABSTRACT

Decision-making module enables autonomous vehicles to reach appropriate maneuvers in the complex urban environments, especially the intersection situations. This work proposes a deep reinforcement learning (DRL) based left-turn decision-making framework at unsignalized intersection for autonomous vehicles. The objective of the studied automated vehicle is to make an efficient and safe left-turn maneuver at a four-way unsignalized intersection. The exploited DRL methods include deep Q-learning (DQL) and double DQL. Simulation results indicate that the presented decision-making strategy could efficaciously reduce the collision rate and improve transport efficiency. This work also reveals that the constructed left-turn control structure has a great potential to be applied in real-time.

연구 동기 및 목표

• 사전 신호가 없는 사거리에서 자율 주행 차량을 위한 실시간 의사결정 프레임워크를 개발하기 위해.
• 신호가 없는 환경에서 안전하고 효율적인 좌회전 운전의 과제를 해결하기 위해.
• 복잡한 도심 교통 환경에서의 딥 강화학습 성능을 평가하기 위해.
• 좌회전 운전 중 충돌률을 감소시키고 교통 흐름의 효율성을 향상시키기 위해.
• 제안된 DRL 기반 제어 구조의 실시간 구현 가능성과 확장성 검증하기 위해.

제안 방법

• 프레임워크는 상태 관측에서 최적의 좌회전 결정을 학습하기 위해 딥 Q 네트워크(DQN)와 더블 DQN 알고리즘을 활용한다.
• 상태 특징은 주행 중인 차량과의 상대적 위치, 속도 및 거리를 포함한다.
• 안전하고 적시적이며 효율적인 좌회전 운전을 유도하기 위해 조밀한 보상 함수를 설계하였다.
• 다양한 충돌하는 교통 흐름이 존재하는 시뮬레이션된 도심 환경에서 DRL 에이전트를 훈련시켰다.
• 학습 안정성 향상과 수렴성 향상을 위해 경험 재생과 타겟 네트워크를 사용하였다.
• 다양한 교통 밀도 조건에서 제어 구조의 성능을 평가하여 내구성과 확장성을 검토하였다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 사전 신호가 없는 사거리에서 안전하고 효율적인 좌회전 결정을 효과적으로 학습할 수 있는가?
• RQ2 이 작업에서 DQN과 더블 DQN은 수렴 속도와 성능 안정성 측면에서 어떻게 비교되는가?
• RQ3 제안된 프레임워크는 기준 전략 대비 충돌률을 어느 정도 감소시키는가?
• RQ4 교통 밀도는 DRL 기반 의사결정 시스템의 성능과 내구성에 어떤 영향을 미치는가?
• RQ5 학습된 정책은 실시간 응용에 효과적으로 구현될 수 있는가?

주요 결과

• 제안된 DRL 프레임워크는 사전 신호가 없는 사거리에서 좌회전 운전 중 충돌률을 크게 감소시켰다.
• 더블 DQN은 학습 안정성과 수렴 속도 측면에서 표준 DQN보다 뛰어난 성능을 보였다.
• 불필요한 대기 시간을 최소화함으로써 교통 효율성이 향상되었다.
• 다양한 교통 밀도에서 학습된 정책이 잘 일반화되어 내구성을 보였다.
• 실시간 구현에 매우 유망한 잠재력을 보이는 제어 구조였다.
• 시뮬레이션 결과는 이 프레임워크가 복잡한 교차로 환경에서 안전성과 효율성을 효과적으로 균형 잡는 데 성공했다는 것을 확인했다.