[论文解读] A Lyapunov Optimization Approach to Repeated Stochastic Games

Michael J. Neely|arXiv (Cornell University)|Oct 9, 2013

Game Theory and Applications参考文献 18被引用 5

一句话总结

本文提出了一种基于李雅普诺夫优化的在线算法，用于求解具有 N 名玩家的重复随机博弈，其中游戏管理者使用时变权重计算相关策略，以在粗略相关均衡（CCE）约束下最大化时间平均效用的凹公平函数。该方法无需知晓事件概率即可实现最优效用分配，并确保多项式时间收敛。

ABSTRACT

This paper considers a time-varying game with $N$ players. Every time slot, players observe their own random events and then take a control action. The events and control actions affect the individual utilities earned by each player. The goal is to maximize a concave function of time average utilities subject to equilibrium constraints. Specifically, participating players are provided access to a common source of randomness from which they can optimally correlate their decisions. The equilibrium constraints incentivize participation by ensuring that players cannot earn more utility if they choose not to participate. This form of equilibrium is similar to the notions of Nash equilibrium and correlated equilibrium, but is simpler to attain. A Lyapunov method is developed that solves the problem in an online \emph{max-weight} fashion by selecting actions based on a set of time-varying weights. The algorithm does not require knowledge of the event probabilities and has polynomial convergence time. A similar method can be used to compute a standard correlated equilibrium, albeit with increased complexity.

研究动机与目标

• 设计一种在线算法，以在具有 N 名玩家的重复随机博弈中，最大化时间平均效用的凹公平函数。
• 确保解满足粗略相关均衡（CCE）约束，保证任何单个玩家无法通过单方面偏离获益。
• 开发一种无需预先知晓底层事件概率分布的方法。
• 通过漂移加惩罚框架，实现多项式时间收敛至最优解。
• 将李雅普诺夫优化技术的应用范围扩展至具有相关决策的动态随机博弈理论场景。

提出的方法

• 该算法基于时变李雅普诺夫权重使用最大权重策略，选择消息向量，以平衡效用最大化与约束满足。
• 将问题表述为漂移加惩罚优化，其中惩罚项用于在时间平均效用上施加 CCE 约束。
• 该方法以在线方式运行，基于每个时隙观测到的随机事件 ω(t) 更新动作，无需知晓事件分布 π[ω] 的知识。
• 通过虚拟静态博弈公式推导解，利用乘积形式假设将均衡条件映射为条件动作分布 Pr[α|ω]。
• 通过证明虚拟静态博弈的任意纳什均衡可通过乘积形式动作分布在随机博弈中诱导出有效的 CCE，确保 CCE 的可行性。
• 证明了收敛至最优解的时间为多项式时间，时间平均效用以受控速率趋近最优值。

实验结果

研究问题

• RQ1 李雅普诺夫优化框架能否被调整以求解具有公平性和均衡约束的重复随机博弈？
• RQ2 在无事件概率知识的前提下，如何在粗略相关均衡（CCE）约束下实现时间平均效用最大化？
• RQ3 虚拟静态博弈中的纳什均衡与对应随机博弈中的 CCE 之间存在何种关系？
• RQ4 所提出的在线算法能否在保持均衡与公平性保证的同时实现多项式时间收敛？
• RQ5 与标准相关均衡在随机博弈中的计算方法相比，该方法在复杂度和性能上表现如何？

主要发现

• 所提出的基于李雅普诺夫的算法在无需知晓底层事件概率分布 π[ω] 的前提下，实现了在 CCE 约束下的时间平均效用最大化。
• 该算法以多项式时间收敛至最优解，时间平均效用以依赖于问题规模和李雅普诺夫参数的速率趋近最优值。
• 该方法确保虚拟静态博弈的任意纳什均衡可通过乘积形式动作分布 Pr[α|ω] = ∏ᵢ Pr[αᵢ|ωᵢ] 在随机博弈中诱导出有效的 CCE。
• 本文证明了随机博弈中 CCE 的集合包含所有纳什均衡，即 𝒫ₙₑˢₜₒc ⊆ 𝒫cₑˢₜₒc，确立了均衡的层次结构。
• 该算法可被调整以计算标准相关均衡，但其计算复杂度高于基于 CCE 的方法。
• 理论分析证实，CCE 约束成立当且仅当任何单方面偏离下的期望效用不优于均衡结果，如不等式 (20)–(21) 所形式化。