[論文レビュー] Multi-Agent Reinforcement Learning for Dynamic Routing Games: A Unified Paradigm.

Zhenyu Shou, Xuan Di|arXiv (Cornell University)|Nov 22, 2020

Transportation Planning and Optimization参考文献 63被引用数 8

ひとこと要約

本論文は、輸送ネットワーク上の利己的エージェントの動的ルーティング行動をモデル化するマルチエージェント強化学習（MARL）パラダイムを提案し、報酬設計を通じて動的ユーザーエクイリブリウム（DUE）と動的システム最適（DSO）の結果を統合する。最適な通行料（Braessネットワークでは≥25）と信号制御（Boulevardで4秒のオフセット）が、平均移動時間を最小化し、Braessパラドックスを回避できることを示している。

ABSTRACT

This paper aims to develop a unified paradigm that models one's learning behavior and the system's equilibrating processes in a routing game among atomic selfish agents. Such a paradigm can assist policymakers in devising optimal operational and planning countermeasures under both normal and abnormal circumstances. To this end, a multi-agent reinforcement learning (MARL) paradigm is proposed in which each agent learns and updates her own en-route path choice policy while interacting with others on transportation networks. This paradigm is shown to generalize the classical notion of dynamic user equilibrium (DUE) to model-free and data-driven scenarios. We also illustrate that the equilibrium outcomes computed from our developed MARL paradigm coincide with DUE and dynamic system optimal (DSO), respectively, when rewards are set differently. In addition, with the goal to optimize some systematic objective (e.g., overall traffic condition) of city planners, we formulate a bilevel optimization problem with the upper level as city planners and the lower level as a multi-agent system where each rational and selfish traveler aims to minimize her travel cost. We demonstrate the effect of two administrative measures, namely tolling and signal control, on the behavior of travelers and show that the systematic objective of city planners can be optimized by a proper control. The results show that on the Braess network, the optimal toll charge on the central link is greater or equal to 25, with which the average travel time of selfish agents is minimized and the emergence of Braess paradox could be avoided. In a large-sized real-world road network with 69 nodes and 166 links, the optimal offset for signal control on Broadway is derived as 4 seconds, with which the average travel time of all controllable agents is minimized.

研究の動機と目的

• 動的ルーティングゲームにおける個人の学習行動とシステムレベルの均衡化を同時にモデル化する統一されたMARLパラダイムの開発を目的とする。
• MARLを用いて、報酬関数の調整により、古典的DUEを報酬関数に依存しない、データ駆動型の状況に一般化することを目的とする。
• 通行料や信号タイミングなどの行政的制御を用いて、都市計画者らのシステム的目標（例：総合移動時間の最小化）を最適化することを目的とする。
• 政策干渉が現実世界および合成ネットワークにおける利己的エージェント行動と全体の効率に与える影響を調査することを目的とする。
• 特定の報酬設定下で、MARLの均衡結果がDUEおよびDSOと一致することを実証することを目的とする。

提案手法

• 上位最適化（都市計画者）と下位最適化（自己利益志向エージェントがMARLで経路ポリシーを学習）からなる二段階最適化問題を定式化する。
• 各エージェントがネットワーク上で相互作用しながら、独立して経路選択ポリシーを学習・更新するMARLを採用する。
• 報酬設計を用いて、MARLの結果をDUE（利己的最小化）またはDSO（システム最適性）に誘導する。
• 通行料と信号制御を、エージェント行動とシステムパフォーマンスに影響を与える行政的レバーとして適用する。
• フレームワークの妥当性を検証するために、Braessネットワークと69ノード・166リンクの現実世界ネットワークを用いる。
• シミュレーションベースの評価を用いて、平均移動時間を最小化する最適な制御パラメータ（通行料と信号オフセット）を導出する。

実験結果

リサーチクエスチョン

• RQ1 MARLフレームワークは、動的ルーティングゲームにおける個人の学習とシステムの均衡化の両方を統合できるか？
• RQ2 MARLにおける異なる報酬関数は、DUEまたはDSOの結果への収束にどのように影響するか？
• RQ3 Braessネットワークの中央リンクにおける最適な通行料は、平均移動時間を最小化し、Braessパラドックスを回避するためにどの程度か？
• RQ4 現実世界ネットワークにおけるBoulevardでの信号制御オフセットは、制御可能なエージェントの平均移動時間を最小化するためにどの程度か？
• RQ5 通行料と信号制御は、利己的エージェントの行動と全体のシステム効率にどのように影響を与えるか？

主な発見

• 報酬関数の調整により、MARLパラダイムはDUEおよびDSOを報酬関数に依存しないデータ駆動型状況に一般化する。
• Braessネットワークでは、中央リンクへの通行料が25以上に設定されると、平均移動時間が最小化され、Braessパラドックスが回避される。
• 69ノード・166リンクの現実世界ネットワークでは、Boulevardでの最適な信号オフセットが4秒に設定されると、制御可能なエージェントの平均移動時間が最小化される。
• 報酬が個々のコスト最小化を反映する場合、MARLシステムの均衡結果はDUEと一致する。
• 報酬が全体のコスト最小化を反映する場合、均衡結果はDSOと一致する。
• 通行料や信号タイミングなどの行政的制御は、エージェント行動をシステム最適な結果に効果的に誘導できる。