[논문 리뷰] Multi-Agent Reinforcement Learning for Dynamic Routing Games: A Unified Paradigm.

Zhenyu Shou, Xuan Di|arXiv (Cornell University)|2020. 11. 22.

Transportation Planning and Optimization참고 문헌 63인용 수 8

한 줄 요약

이 논문은 교통망에서 이기적인 에이전트의 동적 라우팅 행동을 모델링하는 다중 에이전트 강화학습(MARL) 프레임워크를 제안하며, 보상 설계를 통해 동적 사용자 균형(DUE)과 동적 시스템 최적(DSO) 결과를 통합한다. 최적의 통행료(브레스 네트워크에서 ≥25)와 신호 제어(브로드웨이에서 4초 오프셋)가 평균 이동 시간을 최소화하고 브레스 역설을 방지함을 입증한다.

ABSTRACT

This paper aims to develop a unified paradigm that models one's learning behavior and the system's equilibrating processes in a routing game among atomic selfish agents. Such a paradigm can assist policymakers in devising optimal operational and planning countermeasures under both normal and abnormal circumstances. To this end, a multi-agent reinforcement learning (MARL) paradigm is proposed in which each agent learns and updates her own en-route path choice policy while interacting with others on transportation networks. This paradigm is shown to generalize the classical notion of dynamic user equilibrium (DUE) to model-free and data-driven scenarios. We also illustrate that the equilibrium outcomes computed from our developed MARL paradigm coincide with DUE and dynamic system optimal (DSO), respectively, when rewards are set differently. In addition, with the goal to optimize some systematic objective (e.g., overall traffic condition) of city planners, we formulate a bilevel optimization problem with the upper level as city planners and the lower level as a multi-agent system where each rational and selfish traveler aims to minimize her travel cost. We demonstrate the effect of two administrative measures, namely tolling and signal control, on the behavior of travelers and show that the systematic objective of city planners can be optimized by a proper control. The results show that on the Braess network, the optimal toll charge on the central link is greater or equal to 25, with which the average travel time of selfish agents is minimized and the emergence of Braess paradox could be avoided. In a large-sized real-world road network with 69 nodes and 166 links, the optimal offset for signal control on Broadway is derived as 4 seconds, with which the average travel time of all controllable agents is minimized.

연구 동기 및 목표

• 동적 라우팅 게임에서 개인의 학습 행동과 시스템 수준의 평형 도달를 동시에 모델링하는 통합된 MARL 프레임워크를 개발하는 것.
• MARL을 사용해 보상 함수 조정을 통해 고전적 DUE를 모델 프리, 데이터 기반 환경으로 일반화하는 것.
• 통행료와 신호 조절과 같은 행정적 통제 수단을 통해 도시 계획자들의 체계적 목표—예를 들어 총 이동 시간 최소화—를 최적화하는 것.
• 정책 간섭이 실제 및 합성 네트워크에서 이기적인 에이전트 행동과 전체 시스템 효율성에 미치는 영향을 조사하는 것.
• 특정 보상 설정 하에서 MARL의 평형 결과가 DUE 및 DSO와 일치함을 보여주는 것.

제안 방법

• 도시 계획자(상위 수준)와 이기적인 에이전트(하위 수준) 간의 이중 최적화 문제를 수립하며, 하위 수준에서는 MARL을 사용해 경로 정책을 학습한다.
• 각 에이전트가 네트워크에서의 상호작용을 통해 독립적으로 경로 선택 정책을 학습하고 업데이트하는 MARL을 적용한다.
• DUE(이기적인 최소화) 또는 DSO(체계적 최적성) 결과로 향하도록 보상 설계를 통해 MARL 결과를 유도한다.
• 통행료와 신호 제어를 행정적 수단으로 활용해 에이전트 행동과 시스템 성능에 영향을 주는 것.
• 프레임워크의 유효성을 검증하기 위해 브레스 네트워크와 69노드, 166링크의 실제 도시 네트워크를 사용한다.
• 시뮬레이션 기반 평가를 통해 평균 이동 시간을 최소화하는 최적의 제어 파rameter(통행료 및 신호 오프셋)를 도출한다.

실험 결과

연구 질문

• RQ1 MARL 프레임워크는 동적 라우팅 게임에서 개인의 학습 행동과 시스템 평형 도달를 통합적으로 모델링할 수 있는가?
• RQ2 MARL에서 다양한 보상 함수는 DUE 또는 DSO 결과로의 수렴에 어떤 영향을 미치는가?
• RQ3 브레스 네트워크의 중심 링크에 최적의 통행료는 얼마여야 평균 이동 시간을 최소화하고 브레스 역설을 방지할 수 있는가?
• RQ4 실제 도시 네트워크의 브로드웨이에서 통제 가능한 에이전트의 평균 이동 시간을 최소화하기 위해 필요한 신호 제어 오프셋은 얼마인가?
• RQ5 통행료와 신호 제어는 이기적인 에이전트의 행동과 전체 시스템 효율성에 어떤 영향을 미치는가?

주요 결과

• MARL 프레임워크는 보상 함수 조정을 통해 DUE와 DSO를 모델 프리, 데이터 기반 환경으로 일반화한다.
• 브레스 네트워크에서 중심 링크에 통행료 25 이상을 부과할 경우 평균 이동 시간이 최소화되고 브레스 역설이 방지된다.
• 실제 69노드, 166링크 네트워크에서 브로드웨이의 최적 신호 오프셋은 4초로, 통제 가능한 에이전트의 평균 이동 시간을 최소화한다.
• 에이전트의 보상이 개인 비용 최소화를 반영할 경우 MARL 시스템의 평형 결과는 DUE와 일치한다.
• 에이전트의 보상이 체계적 비용 최소화를 반영할 경우 MARL 시스템의 평형 결과는 DSO와 일치한다.
• 통행료와 신호 조절과 같은 행정적 통제 수단은 에이전트 행동을 체계적 최적 결과로 효과적으로 이끌 수 있다.