[论文解读] Constrained Cost-Coupled Stochastic Games with Independent State Processes

Eitan Altman, Konstantin Avrachenkov+4 more|ArXiv.org|Mar 21, 2007

Game Theory and Voting Systems参考文献 11被引用 7

一句话总结

该论文在非合作随机博弈中建立了存在约束纳什均衡的结论，其中每个玩家控制一个独立的马尔可夫决策过程，且成本与约束依赖于所有玩家的行动。通过线性规划与不动点理论，证明在较弱条件下，平稳马尔可夫策略构成约束纳什均衡，其应用涵盖无线功率控制。

ABSTRACT

We consider a non-cooperative constrained stochastic games with N players with the following special structure. With each player there is an associated controlled Markov chain. The transition probabilities of the i-th Markov chain depend only on the state and actions of controller i. The information structure that we consider is such that each player knows the state of its own MDP and its own actions. It does not know the states of, and the actions taken by other players. Finally, each player wishes to minimize a time-average cost function, and has constraints over other time-avrage cost functions. Both the cost that is minimized as well as those defining the constraints depend on the state and actions of all players. We study in this paper the existence of a Nash equilirium. Examples in power control in wireless communications are given.

研究动机与目标

• 建立在具有成本耦合与约束的非合作随机博弈中纳什均衡存在的理论基础。
• 建模玩家仅掌握自身状态与行动信息，但仍需在约束条件下优化时间平均成本的情景。
• 将约束马尔可夫决策过程（CMDP）理论扩展至具有独立状态过程的多智能体随机博弈。
• 通过线性规划与不动点分析，提供一种计算上可行的均衡计算框架。
• 在无线通信系统中展示其适用性，特别是具有服务质量约束的上行链路功率控制。

提出的方法

• 将博弈形式化为具有 N 个玩家的约束成本耦合随机博弈，每个玩家控制一个仅依赖于自身行动的独立 MDP，其转移概率亦仅与自身行动相关。
• 为每个玩家引入线性规划（LP）LP(i,u)，用于在给定其他玩家策略的条件下计算最优平稳策略，同时兼顾成本最小化与约束满足。
• 使用状态-动作频率的长期度量 f(v) 表示在平稳策略下不依赖初始条件的长期行为，该性质在假设 Π₁ 下成立。
• 定义一个从策略度量到最优响应策略集合的集值映射 Ψ，从而支持不动点分析。
• 应用 Kakutani 的不动点定理于映射 Ψ，证明其不动点存在，该不动点对应于约束纳什均衡。
• 证明任何 Ψ 的不动点均对应一个平稳约束纳什均衡，反之亦然。

实验结果

研究问题

• RQ1 在具有独立状态过程与部分信息的随机博弈中，约束纳什均衡存在的条件是什么？
• RQ2 当玩家对其他参与者的信息有限时，是否可利用线性规划刻画均衡策略？
• RQ3 成本耦合与约束如何影响去中心化随机博弈中均衡的存在性与结构？
• RQ4 映射 Ψ 的不动点与平稳约束纳什均衡的存在性之间是否存在关联？
• RQ5 在给定假设下，是否可通过状态度量与 LP 公式计算均衡？

主要发现

• 在假设 Π₁–Π₃ 成立的条件下，所提出的随机博弈类中存在约束纳什均衡，其存在性通过 Kakutani 的不动点定理得以证明。
• 均衡策略为平稳马尔可夫策略，即仅依赖于当前局部状态，而不依赖于历史信息。
• 每个玩家的最优策略可通过线性规划 LP(i,u) 计算得出，其中 u 表示其他玩家的策略。
• LP(i,u) 的最优解集合为凸集且紧致，且最优响应映射为上半连续。
• 任何平稳约束纳什均衡均对应于映射 Ψ 的一个不动点，反之亦然。
• 时间平均成本与约束函数完全由不依赖初始状态分布 β 的状态度量 f(v) 所刻画。