[论文解读] Follow-the-Regularized-Leader Routes to Chaos in Routing Games

Jakub Bielawski, Thiparat Chotibut+4 more|arXiv (Cornell University)|Feb 16, 2021

Game Theory and Applications参考文献 47被引用 6

一句话总结

本文研究了在固定学习率下非原子非线性拥挤博弈中的Follow-the-Regularized-Leader（FoReL）动态行为，表明增加群体规模或成本尺度会引发不稳定性和混沌——即使在简单的双链路博弈中也会出现Li-Yorke混沌和正拓扑熵。尽管轨迹呈现混沌特性，时间平均行为始终收敛至精确的纳什均衡。

ABSTRACT

We study the emergence of chaotic behavior of Follow-the-Regularized Leader (FoReL) dynamics in games. We focus on the effects of increasing the population size or the scale of costs in congestion games, and generalize recent results on unstable, chaotic behaviors in the Multiplicative Weights Update dynamics to a much larger class of FoReL dynamics. We establish that, even in simple linear non-atomic congestion games with two parallel links and any fixed learning rate, unless the game is fully symmetric, increasing the population size or the scale of costs causes learning dynamics to become unstable and eventually chaotic, in the sense of Li-Yorke and positive topological entropy. Furthermore, we show the existence of novel non-standard phenomena such as the coexistence of stable Nash equilibria and chaos in the same game. We also observe the simultaneous creation of a chaotic attractor as another chaotic attractor gets destroyed. Lastly, although FoReL dynamics can be strange and non-equilibrating, we prove that the time average still converges to an exact equilibrium for any choice of learning rate and any scale of costs.

研究动机与目标

• 分析在固定、非趋零学习率下FoReL学习在拥挤博弈中的动力学行为，脱离标准的后悔最小化框架。
• 研究此前在乘法权重更新（MWU）中观察到的混沌行为是否可推广至使用不同正则化项的更广泛FoReL动态类别。
• 探索在相同博弈中，稳定均衡、极限环和混沌等多重吸引子共存的可能性。
• 确定尽管个体轨迹呈现混沌，时间平均系统行为是否仍保持规律性并收敛。
• 建立在任意成本缩放和群体规模下均衡收敛的鲁棒性，即使个体动态不可预测。

提出的方法

• 建立具有两条并行链路和线性成本函数的非原子拥挤博弈模型，其中成本随策略占比增加而上升。
• 对不同正则化项（对数障碍、Havrda-Charvát-Tsallis熵）应用FoReL动态，基于最小化正则化累积成本推导更新规则。
• 利用动力系统理论工具，包括分岔分析和拓扑熵计算，研究稳定性和混沌转变。
• 通过从FoReL更新规则导出的一维递推映射分析系统，实现对吸引子和周期倍化级联的可视化。
• 采用临界点初始化的数值模拟生成分岔图，识别共存吸引子。
• 通过不变性和遍历性论证，证明时间平均策略序列无论在何种混沌行为下均收敛至精确的纳什均衡。

实验结果

研究问题

• RQ1 在固定学习率下，增加群体规模或成本尺度是否会在拥挤博弈的FoReL动态中引发混沌行为，即使在简单的双链路设置中？
• RQ2 在相同的拥挤博弈中，稳定纳什均衡是否可与混沌吸引子共存于FoReL动态下？
• RQ3 正则化项的选择（如对数障碍、Tsallis熵）在复杂动力学（如周期倍化和共存吸引子）出现过程中起何种作用？
• RQ4 在参数变化过程中，是否可能同时出现一个混沌吸引子的生成和另一个的破坏？
• RQ5 即使个体轨迹呈现混沌，FoReL动态的时间平均行为是否仍收敛至纳什均衡？

主要发现

• 对于任意固定学习率，双链路线性拥挤博弈中群体规模或成本尺度的增加会导致不稳定性与混沌，表现为正拓扑熵和Li-Yorke混沌。
• 在相同博弈中观察到局部吸引的纳什均衡与混沌动态共存，尤其在对数障碍和Havrda-Charvát-Tsallis正则化下。
• 在参数变化过程中，分岔图中多条临界点轨迹显示，一个混沌吸引子的生成与另一个的破坏可同时发生。
• 多种正则化项（包括$ q = 0.5 $的Havrda-Charvát-Tsallis熵）中观察到周期倍化通往混沌的路径，证实了普遍的混沌转变。
• 尽管个体轨迹呈现混沌，时间平均策略序列对所有学习率和成本尺度均精确收敛至纳什均衡。
• 系统表现出非标准动力学现象，如在相同参数区域内，吸引子行为对初始条件不均匀依赖。