[논문 리뷰] EMVLight: A Decentralized Reinforcement Learning Framework for Efficient Passage of Emergency Vehicles

Haoran Su, Yaofeng Desmond Zhong외 2명|arXiv (Cornell University)|2021. 09. 12.

Traffic control and management인용 수 4

한 줄 요약

EMVLight는 실시간으로 긴급차량(EMV)의 동적 라우팅과 교통신호 제어를 공동 최적화하는 탈중앙화된 다중에이전트 강화학습 프레임워크이다. 교통상황 변화에 대응하기 위해 Dijkstra 알고리즘을 확장하여 경로를 적응적으로 갱신하고, 전용 강화학습 에이전트를 활용해 신호 단계를 조율함으로써, EMVLight는 합성 및 실세계 도로망에서 최신 기술 기준 대비 EMV 이동 시간을 18% 감소시키고, 비-EMV 평균 이동 시간을 5% 감소시킨다.

ABSTRACT

Emergency vehicles (EMVs) play a crucial role in responding to time-critical events such as medical emergencies and fire outbreaks in an urban area. The less time EMVs spend traveling through the traffic, the more likely it would help save people's lives and reduce property loss. To reduce the travel time of EMVs, prior work has used route optimization based on historical traffic-flow data and traffic signal pre-emption based on the optimal route. However, traffic signal pre-emption dynamically changes the traffic flow which, in turn, modifies the optimal route of an EMV. In addition, traffic signal pre-emption practices usually lead to significant disturbances in traffic flow and subsequently increase the travel time for non-EMVs. In this paper, we propose EMVLight, a decentralized reinforcement learning (RL) framework for simultaneous dynamic routing and traffic signal control. EMVLight extends Dijkstra's algorithm to efficiently update the optimal route for the EMVs in real time as it travels through the traffic network. The decentralized RL agents learn network-level cooperative traffic signal phase strategies that not only reduce EMV travel time but also reduce the average travel time of non-EMVs in the network. This benefit has been demonstrated through comprehensive experiments with synthetic and real-world maps. These experiments show that EMVLight outperforms benchmark transportation engineering techniques and existing RL-based signal control methods.

연구 동기 및 목표

• 변동하는 교통 조건 하에서 동적 EMV 라우팅과 적응형 교통신호 우선순위 부여 문제를 동시에 해결하기 위해.
• 기존 우선순위 전략의 일반적인 단점인 비-EMV 평균 이동 시간 증가 없이 EMV 이동 시간을 최소화하기 위해.
• EMV가 네트워크를 통과하는 동안 최적 경로를 실시간으로 갱신할 수 있는 계산 효율성이 높고 실시간 작동 가능한 라우팅 메커니즘을 설계하기 위해.
• 교차로에 위치한 에이전트들이 상호 협력하여 EMV 우선순위와 네트워크 전체 효율성을 균형 잡는 신호 단계 전략을 학습하는 탈중앙화된 다중에이전트 강화학습 프레임워크를 개발하기 위해.

제안 방법

• 교통상황 변화에 따라 최적의 EMV 경로를 유지하기 위해 실시간 갱신 기능을 갖춘 Dijkstra 알고리즘을 확장한다.
• 3종류의 에이전트(주요 우선순위, 보조 우선순위, 조율 에이전트)를 포함한 탈중앙화된 다중에이전트 A2C 강화학습 프레임워크를 활용한다.
• 모든 방향의 차량 밀도를 균형 있게 유지하도록 유도하는 새로운 압력 기반 보상 함수를 도입하여 네트워크 전체 효율성을 향상시킨다.
• 정책 및 가치 네트워크에 지문 기반 기법을 적용해 다중에이전트 강화학습의 학습 안정성과 수렴 속도를 향상시킨다.
• 보조 우선순위 에이전트는 신호 단계를 선택해 도로 구간을 사전 확보함으로써 고속의 EMV 통과를 가능하게 하는 '예약' 전략을 학습한다.
• 국부적 관측과 탈중앙화된 정책을 활용해 전체 네트워크의 신호 제어를 조율함으로써 중앙집중식 조율의 병목 현상을 방지한다.

실험 결과

연구 질문

• RQ1 탈중앙화된 강화학습 프레임워크는 시간에 따라 변화하는 교통 환경에서 EMV 라우팅과 교통신호 제어를 동시에 최적화할 수 있는가?
• RQ2 비-EMV 평균 이동 시간 증가 없이 EMV 이동 시간을 최소화할 수 있는 방법은 무엇인가? 이는 일반 교통 흐름에 악영향을 주지 않는가?
• RQ3 특수화된 에이전트 유형, 특히 보조 우선순위 에이전트의 영향은 EMV 통과 효율성과 네트워크 전체 성능에 어떤 영향을 미치는가?
• RQ4 특히 개선된 압력 지표를 기반으로 한 보상 함수의 설계는 다중에이전트 신호 제어에서 수렴성과 성능에 어떤 영향을 미치는가?
• RQ5 정책 및 가치 네트워크에 지문 기반 기법을 적용할 경우, 학습 안정성과 수렴 속도 향상에 얼마나 기여하는가?

주요 결과

• EMVLight는 동적 라우팅 기준 대비 평균 18%의 EMV 이동 시간 감소를 보이며, 공동 라우팅 및 신호 제어 전략의 효과성을 입증한다.
• 최고 성능 기준(맥스 프레셔) 대비 비-EMV 평균 이동 시간을 5% 감소시켜 네트워크 전체 효율성 향상을 보여준다.
• 보조 우선순위 에이전트를 제거할 경우 EMV 이동 시간이 45% 증가하여, 이들이 링크 예약과 원활한 EMV 통과를 가능하게 하는 데 핵심적인 역할을 한다는 것을 확인한다.
• 압력 정의를 PressLight의 방식으로 대체할 경우 평균 이동 시간이 13% 증가하여, EMVLight의 개선된 압력 지표가 균형 잡힌 네트워크 흐름을 지원하는 데 더 효과적임을 시사한다.
• 정책 및 가치 네트워크에 지문 기반 기법을 적용하면 수렴 속도 향상과 보상 변동성 감소가 관찰되어, 다중에이전트 강화학습 학습 안정성 향상에 기여함을 입증한다.
• 합성 및 실세계 지도 모두에서 EMVLight는 전통적인 교통 공학 기법과 기존의 강화학습 기반 신호 제어 기법을 모두 능가하여 EMV 이동 시간과 평균 차량 지연 시간 측면에서 뛰어난 성능을 보인다.