[论文解读] Decentralized Online Learning for Noncooperative Games in Dynamic Environments

Min Meng, Xiuxian Li+3 more|arXiv (Cornell University)|May 13, 2021

Advanced Bandit Algorithms Research参考文献 33被引用 18

一句话总结

该论文提出了一种用于具有时变代价函数和共享约束的非合作博弈的去中心化在线学习算法，通过在固定通信图上使用镜像下降和原始-对偶更新，实现了次线性动态遗憾和约束违反，且步长适当递减，无需全局知识即可在动态环境中实现鲁棒的均衡搜索。

ABSTRACT

Decentralized online learning for seeking generalized Nash equilibrium (GNE) of noncooperative games in dynamic environments is studied in this paper. Each player aims at selfishly minimizing its own time-varying cost function subject to time-varying coupled constraints and local feasible set constraints. Only local cost functions and local constraints are available to individual players, who can receive their neighbors' information through a fixed and connected graph. In addition, players have no prior knowledge of cost functions and local constraint functions in the future time. In this setting, a novel distributed online learning algorithm for seeking GNE of the studied game is devised based on mirror descent and a primal-dual strategy. It is shown that the presented algorithm can achieve sublinearly bounded dynamic regrets and constraint violation by appropriately choosing decreasing stepsizes. Finally, the obtained theoretical result is corroborated by a numerical simulation.

研究动机与目标

• 解决在去中心化信息下，具有时变代价函数和耦合约束的非合作博弈中寻求广义纳什均衡（GNE）的挑战。
• 设计一种分布式在线算法，其中玩家仅能访问本地数据和邻居信息，而无需事先知晓未来代价或约束函数。
• 即使在信息有限、局部且时变的条件下，仍确保在动态环境中收敛至广义纳什均衡。
• 通过新颖的去中心化在线学习框架，建立动态遗憾和约束违反的理论界。

提出的方法

• 设计了一种分布式在线算法（算法1），采用镜像下降进行决策更新，并使用原始-对偶策略处理时变耦合约束。
• 玩家通过固定连通通信图上的共识机制，基于本地代价梯度和对偶变量更新其决策。
• 算法在原始和对偶变量上采用递减步长，以在动态环境中平衡探索与收敛。
• 在镜像下降中使用Bregman散度，推广了基于投影的方法，增强了约束和决策空间设计的灵活性。
• 理论分析利用李雅普诺夫函数和递推不等式，界定了动态遗憾和约束违反。
• 原始-对偶更新结构确保即使约束随时间变化，约束违反也以次线性速度增长。

实验结果

研究问题

• RQ1 去中心化在线学习算法是否能在具有时变代价函数和共享约束的非合作博弈中实现次线性动态遗憾？
• RQ2 玩家如何仅通过本地信息和邻居通信收敛至广义纳什均衡？
• RQ3 镜像下降在动态博弈中相比基于投影的方法，如何提升适应性？
• RQ4 递减步长如何影响时变环境中遗憾与约束违反之间的权衡？
• RQ5 所提出的算法是否能在不依赖未来代价或约束函数知识的情况下，保持有界的约束违反？

主要发现

• 所提算法实现了次线性动态遗憾，当步长适当前提下，遗憾增长为 O(T^{1/2})。
• 约束违反也以次线性速度增长，当步长选择得当时，其上界为 O(T^{1/2})。
• 使用Bregman散度的镜像下降相比标准投影方法，显著增强了算法的灵活性和泛化能力。
• 理论分析证实，即使在缺乏未来函数先验知识的情况下，动态遗憾和约束违反也随时间保持一致有界。
• 数值仿真验证了理论结果，表明在时变动态下算法能收敛至广义纳什均衡。
• 该算法在去中心化信息下保持性能，仅依赖本地代价函数和通过固定图的邻居通信。