[论文解读] Information Relaxations and Dynamic Zero-Sum Games

Martin B. Haugh, Chun Wang|arXiv (Cornell University)|May 17, 2014

Advanced Bandit Algorithms Research参考文献 20被引用 4

一句话总结

本文将信息松弛技术应用于动态零和博弈，即使在最优响应问题难以求解时，也能构造最优值的对偶下界和上界。通过利用次优策略导出的对偶惩罚，该方法实现了紧致的边界，从而验证了策略质量，如在两期矩阵博弈和工业废物检查博弈中的实验所示，边界在少数策略迭代后迅速收敛。

ABSTRACT

Dynamic zero-sum games are an important class of problems with applications ranging from evasion-pursuit and heads-up poker to certain adversarial versions of control problems such as multi-armed bandit and multiclass queuing problems. These games are generally very difficult to solve even when one player's strategy is fixed, and so constructing and evaluating good sub-optimal policies for each player is an important practical problem. In this paper, we propose the use of information relaxations to construct dual lower and upper bounds on the optimal value of the game. We note that the information relaxation approach, which has been developed and applied successfully to many large-scale dynamic programming problems, applies immediately to zero-sum game problems. We provide some simple numerical examples and identify interesting issues and complications that arise in the context of zero-sum games.

研究动机与目标

• 解决在计算上不可行时，大规模动态零和博弈中次优策略对的评估挑战。
• 即使最优响应问题过于复杂而无法直接求解，也利用信息松弛技术构造最优博弈值的对偶边界。
• 证明可通过基于次优策略近似构造的对偶惩罚，获得紧致的对偶边界，从而实现性能认证。
• 识别并分析在不完美信息和对抗性控制设定下，将信息松弛应用于零和博弈时的独特挑战。

提出的方法

• 使用有限状态空间和动作空间对动态零和博弈进行建模，其中玩家A最大化期望折扣成本，玩家B最小化该成本。
• 将信息松弛方法——最初用于近似动态规划——应用于构造最优博弈值的对偶下界和上界。
• 采用源自次优策略对值函数的对偶可行惩罚，遵循Rogers [9] 和Brown与Haugh [19] 提出的弱形式对偶方法。
• 使用一种与动作无关的转移测度Q，该测度在状态间均匀重新分配概率质量（吸收状态除外），从而实现对偶内问题的可处理性。
• 通过在模拟路径上使用蒙特卡洛模拟计算对偶边界，惩罚项根据博弈结构和策略质量进行定制。
• 采用策略迭代方法迭代改进次优策略，并观察到对偶边界向真实博弈值收敛。

实验结果

研究问题

• RQ1 当最优响应问题难以求解时，信息松弛技术能否有效应用于边界估计动态零和博弈的最优值？
• RQ2 由次优策略构造的对偶边界在多大程度上反映真实最优博弈值？其收敛速度如何？
• RQ3 在具有不完美信息或对抗性控制动态的零和博弈中，应用信息松弛时会遇到哪些挑战？
• RQ4 对偶边界能否用于认证大规模博弈中次优策略对的性能？

主要发现

• 在工业废物检查博弈中，仅经过两轮策略迭代后，最优博弈值的对偶边界即变得极为紧致，初始宽泛的区间显著收窄。
• 对于朴素策略对，初始对偶边界极为宽泛——下界为128.8，上界为365.5，表明初始近似质量较差。
• 强对偶性表明，对值函数的更好近似可产生更紧致的对偶边界，该结论在迭代后快速收敛的实证结果中得到验证。
• 该方法通过用对偶松弛替代精确求解，成功处理了零和博弈中最优响应计算的复杂性，从而实现了性能认证。
• 该方法在不完美信息设定下仍保持灵活性，可独立地为下界和上界构造对偶边界，使用不同的路径、惩罚或转移测度Q。