[논문 리뷰] Optimizing Traffic Lights with Multi-agent Deep Reinforcement Learning and V2X communication

Azhar Hussain, Tong Wang외 1명|arXiv (Cornell University)|2020. 02. 23.

Traffic control and management참고 문헌 10인용 수 6

한 줄 요약

이 논문은 도시 교차로에서 교통 신호 제어를 최적화하기 위해 V2X 통신과 통합된 다중 에이전트 강화학습(DRL) 프레임워크를 제안한다. 신호 제어를 마르코프 결정 과정(MDP)으로 모델링하고, 두 가지 비공유 보상 함수(기다리는 차량 수와 시간 기반)와 두 가지 공유 보상 함수(전체 에이전트의 글로벌 지표)를 테스트함으로써, 고정 시간 제어 대비 평균 기다리는 차량 수를 41.5% 감소시켰으며, 비공유 보상 함수가 상호 에이전트 간 경쟁을 줄여 더 우수한 성능을 보였다.

ABSTRACT

We consider a system to optimize duration of traffic signals using multi-agent deep reinforcement learning and Vehicle-to-Everything (V2X) communication. This system aims at analyzing independent and shared rewards for multi-agents to control duration of traffic lights. A learning agent traffic light gets information along its lanes within a circular V2X coverage. The duration cycles of traffic light are modeled as Markov decision Processes. We investigate four variations of reward functions. The first two are unshared-rewards: based on waiting number, and waiting time of vehicles between two cycles of traffic light. The third and fourth functions are: shared-rewards based on waiting cars, and waiting time for all agents. Each agent has a memory for optimization through target network and prioritized experience replay. We evaluate multi-agents through the Simulation of Urban MObility (SUMO) simulator. The results prove effectiveness of the proposed system to optimize traffic signals and reduce average waiting cars to 41.5 % as compared to the traditional periodic traffic control system.

연구 동기 및 목표

• 제한된 실시간 데이터에 의존하는 전통적인 주기적 교통 신호 제어의 비효율성을 해결하기 위해.
• 다중 에이전트 강화학습과 V2X 통신이 도시 교통에서의 동적 신호 제어를 어떻게 향상시킬 수 있는지 탐색하기 위해.
• 개별 보상 대비 공유 보상의 영향이 다중 에이전트 교통 신호 최적화에 미치는 영향을 평가하기 위해.
• 복잡한 다중 교차로 도시 환경에서 평균 차량 대기 시간과 대기열 길이를 줄이기 위해.

제안 방법

• 상태, 행동, 보상, 전이 확률을 포함한 마르코프 결정 과정(MDP)으로 교통 신호 제어를 모델링하기 위해.
• 각 신호등이 독립된 에이전트로 작동하며, 원형 커버리지 반경 내에서 V2X 데이터를 수신하는 다중 에이전트 DRL 프레임워크를 사용하기 위해.
• 학습 안정성 향상과 Q-값 추정 향상을 위해 우선순위 경험 재현과 타겟 네트워크를 갖춘 듀얼링 DQN 아키텍처를 구현하기 위해.
• 다음과 같은 네 가지 별도의 보상 함수 설계: 두 가지 비공유(에이전트별 기다리는 차량 수와 기다리는 시간 기반)와 두 가지 공유(모든 에이전트의 글로벌 지표 기반).
• SUMO 시뮬레이터에서 6×6 교차로 시나리오에 대해 2, 4, 8명의 에이전트로 시스템을 훈련하고 평가하기 위해.
• 60개 에피소드 동안 평균 기다리는 차량 수와 보상 수치를 집계하여 보상 함수 유형 간 성능 비교를 위해.

실험 결과

연구 질문

• RQ1 비공유 보상 설계(에이전트별 기다리는 차량 수와 시간 기반)가 다중 에이전트 교통 신호 제어에서 공유 보상(글로벌 지표 기반)과 비교해 어떻게 성능을 냈는가?
• RQ2 V2X 기반 다중 에이전트 DRL이 고정 시간 신호 제어 시스템보다 평균 차량 대기 시간과 대기열 길이를 더 효과적으로 줄일 수 있는가?
• RQ3 에이전트 수(2, 4, 8)가 DRL 기반 신호 제어 시스템의 성능과 안정성에 어떤 영향을 미치는가?
• RQ4 공유 보상 학습이 다중 에이전트 교통 제어에서 더 나은 협업을 이끌어내는가, 아니면 상호 경쟁을 증가시키는가?
• RQ5 고밀도 도시 환경에서 가장 안정적이고 효과적인 신호 제어 정책을 도출하는 데 가장 적합한 보상 함수는 무엇인가?

주요 결과

• 고정 시간 제어 대비 평균 기다리는 차량 수가 41.5% 감소하였으며, 8명의 에이전트 시나리오에서 15개 에피소드 후 최대 기다리는 차량 수가 3.9에서 2.1로 감소하였다.
• 비공유 보상 함수—특히 기다리는 차량 수 기반 보상—이 공유 보상보다 우수한 성능을 보였으며, 더 낮은 평균 기다리는 차량 수와 더 안정적인 학습을 달성하였다.
• 개별 보상(예: $ r_{a_1} $)을 사용한 에이전트는 공유 보상(예: $ r_{a_3} $, $ r_{a_4} $)을 사용한 에이전트보다 성능이 뛰어나고 기다리는 차량 수가 적었으며, 이는 상호 에이전트 간 갈등 감소를 시사한다.
• 모든 구성에서 에이전트 10번이 다른 에이전트들보다 뛰어난 성능을 보였으며, 특히 비공유 보상 조건에서 정책 학습과 적응 능력이 뛰어났다.
• 공유 보상 체계는 상충되는 목표로 인해 성능 저하를 겪었으며, 한 에이전트의 행동이 다른 에이전트의 보상에 악영향을 주어 경쟁이 증가하였다.
• 에이전트 수가 많은 경우(8명), 기다리는 차량 수보다 기다리는 시간 기반 보상($ r_{a_2} $)이 더 효과적인 것으로 나타나, 시간 기반 지표가 고밀도 교통 상황에서 더 잘 스케일링됨을 시사한다.