[论文解读] Efficient Strategy Computation in Zero-Sum Asymmetric Repeated Games

Lichun Li, Jeff S. Shamma|arXiv (Cornell University)|Mar 6, 2017

Infrastructure Resilience and Vulnerability Analysis参考文献 16被引用 5

一句话总结

本文提出高效的线性规划（LP）公式，用于计算在一方拥有更优信息的零和非对称重复博弈中的安全策略。通过利用策略仅依赖于知情方行动历史的特性，该方法将计算复杂度降低为无信息方行动集大小的线性关系，从而实现对有限时域和折扣无限时域博弈的可扩展求解，并提供近似解的性能边界。

ABSTRACT

Zero-sum asymmetric games model decision making scenarios involving two competing players who have different information about the game being played. A particular case is that of nested information, where one (informed) player has superior information over the other (uninformed) player. This paper considers the case of nested information in repeated zero-sum games and studies the computation of strategies for both the informed and uninformed players for finite-horizon and discounted infinite-horizon nested information games. For finite-horizon settings, we exploit that for both players, the security strategy, and also the opponent's corresponding best response depend only on the informed player's history of actions. Using this property, we refine the sequence form, and formulate an LP computation of player strategies that is linear in the size of the uninformed player's action set. For the infinite-horizon discounted game, we construct LP formulations to compute the approximated security strategies for both players, and provide a bound on the performance difference between the approximated security strategies and the security strategies. Finally, we illustrate the results on a network interdiction game between an informed system administrator and uniformed intruder.

研究动机与目标

• 开发计算高效的算法，用于计算零和重复博弈中具有非对称信息的安全策略。
• 通过证明策略仅依赖于知情方的行动历史，解决非对称博弈中的完美记忆问题。
• 设计与无信息方行动集大小呈线性依赖关系的LP公式，优于以往的多项式时间方法。
• 将结果扩展至折扣无限时域博弈，并提供近似安全策略的性能边界。
• 通过网络阻断博弈案例研究验证该方法。

提出的方法

• 通过消除对无信息方行动历史的依赖，改进序列形式，使策略计算仅依赖于知情方的历史。
• 构建有限时域的LP公式，使策略计算复杂度与无信息方行动集大小呈线性关系。
• 对于无限时域博弈，利用有界遗憾和折扣价值函数，推导安全策略的LP近似。
• 基于反折扣遗憾的充分统计量，保持无限时域设定下攻击者紧凑的状态表示。
• 应用收敛性边界，确保近似安全策略与真实安全策略之间的性能差异得到定量控制。
• 通过三阶段网络阻断博弈和十阶段折扣博弈（共100次模拟）验证该方法。

实验结果

研究问题

• RQ1 在有限时域非对称重复博弈中，能否实现与无信息方行动集大小呈线性复杂度的安全策略计算？
• RQ2 在非对称重复博弈中，如何在不损失策略计算最优性的情况下放松完美记忆要求？
• RQ3 在折扣无限时域非对称博弈中，近似策略与真实安全策略之间的性能差距是多少？
• RQ4 能否为无限时域设定下的无信息方推导出紧凑的充分统计量？
• RQ5 信念更新与收益边界如何影响重复非对称博弈中策略的收敛性？

主要发现

• 有限时域LP公式与无信息方行动集大小呈线性关系，显著优于以往的多项式时间方法。
• 在三阶段网络阻断博弈中，平均收益为6.58，与计算得到的游戏值6.57高度吻合，验证了有限时域方法的有效性。
• 在0.7折扣率的博弈中，当初始信念为[0.5, 0.5]时，近似游戏值收敛至2.24，策略表现出基于信念状态的自适应行为。
• 攻击者的近似策略通过增加对被认为容量更高的信道的阻断概率，实现收益平衡，其行为依赖于反折扣遗憾向量。
• 在十阶段折扣博弈中，平均收益为2.35，落在预期区间[1.96, 2.59]内，证实了理论边界的可靠性。
• 近似策略与真实安全策略之间的性能差距受到严格控制，理论保证基于折扣价值函数与遗憾度量推导得出。