[论文解读] Linearly Solvable Mean-Field Traffic Routing Games

Takashi Tanaka, Ehsan Nekouei+2 more|arXiv (Cornell University)|Mar 4, 2019

Transportation Planning and Optimization参考文献 41被引用 4

一句话总结

本文提出了一类线性可解的均场交通路由博弈，其中驾驶员面临的拥堵成本与其路线使用量的对数呈仿射关系。通过利用仅向后求解的线性系统方法，实现了精确的均场均衡计算，并展现出强大的时间一致性，为大规模网络中的交通均衡计算提供了一种计算效率更高的替代方案，优于标准的前向-后向 HJB-FPK 方法。

ABSTRACT

We consider a dynamic traffic routing game over an urban road network involving a large number of drivers in which each driver selecting a particular route is subject to a penalty that is affine in the logarithm of the number of drivers selecting the same route. We show that the mean-field approximation of such a game leads to the so-called linearly solvable Markov decision process, implying that its mean-field equilibrium (MFE) can be found simply by solving a finite-dimensional linear system backward in time. Based on this backward-only characterization, it is further shown that the obtained MFE has the notable property of strong time-consistency. A connection between the obtained MFE and a particular class of fictitious play is also discussed.

研究动机与目标

• 将大规模群体动态交通路由建模为一种拥堵成本与路线使用量对数呈仿射关系的均场博弈。
• 证明该类博弈具有线性可解结构，从而实现高效的均衡计算。
• 通过仅向后计算的方法，建立均场均衡的强时间一致性。
• 通过渐近分析，建立所推导的均场均衡与大规模群体设定下虚构博弈动态之间的联系。

提出的方法

• 构建一个离散时间随机动态博弈，驾驶员基于网络上的随机策略选择路线。
• 将成本函数建模为同一路径上驾驶员数量对数的仿射函数，以表示拥堵惩罚。
• 应用均场近似方法，在保留成本耦合的同时解耦个体驾驶员的动力学。
• 证明均场均衡（MFE）满足一个线性可解的马尔可夫决策过程（LS-MDP），可通过仅向后矩阵乘法求解。
• 推导出仅向后计算的表征形式，确保 MFE 的强时间一致性。
• 通过渐近分析，建立 MFE 与特定类虚构博弈动态之间的联系。

实验结果

研究问题

• RQ1 能否利用线性可解性高效求解具有对数拥堵成本的均场交通路由博弈？
• RQ2 LS-MDP 框架的仅向后求解方法是否能产生时间一致的均场均衡？
• RQ3 所推导的 MFE 在大规模群体设定下与虚构博弈有何关系？
• RQ4 当驾驶员数量趋于无穷大时，N-玩家博弈的极限行为是什么？
• RQ5 能否在不求解耦合的前向-后向 HJB-FPK 系统的前提下表征均场均衡？

主要发现

• 通过仅向后时间求解有限维线性系统，即可计算均场均衡，无需迭代的前向-后向求解器。
• 该解展现出强时间一致性，其性质强于由 HJB-FPK 系统导出的标准 MFE。
• 证明了该均衡是有限-N博弈中对称纳什均衡的极限，收敛速度满足 δ_N → 0。
• 在有限-N 单阶段博弈中存在唯一对称均衡，通过 KKT 条件及单调函数的介值定理得以证明。
• MFE 渐近等价于一种虚构博弈过程，将其与大规模群体中的学习动态联系起来。
• 计算优势显著：仅需向后矩阵乘法，即可在大规模网络中实现可扩展计算。