[论文解读] Extensive-Form Game Imperfect-Recall Abstractions With Bounds.

Christian Kroer, Tüomas Sandholm|arXiv (Cornell University)|Sep 11, 2014

Artificial Intelligence in Games参考文献 27被引用 6

一句话总结

本文首次为不完美记忆抽象中的纳什均衡及近似自震颤均衡提供了通用的、与算法无关的解质量保证。它将抽象问题转化为一种新颖距离函数下的聚类问题，从而实现了首个具有可证明误差边界的不完美记忆抽象算法，并确立了输入构成度量空间的条件。

ABSTRACT

Imperfect-recall abstraction has emerged as the leading paradigm for practical large-scale equilibrium computation in incomplete-information games. However, imperfect-recall abstractions are poorly understood, and only weak algorithm-specific guarantees on solution quality are known. In this paper, we show the first general, algorithm-agnostic, solution quality guarantees for Nash equilibria and approximate self-trembling equilibria computed in imperfect-recall abstractions, when implemented in the original (perfect-recall) game. Our results are for a class of games that generalizes the only previously known class of imperfect-recall abstractions where any results had been obtained. Further, our analysis is tighter in two ways, each of which can lead to an exponential reduction in the solution quality error bound. We then show that for extensive-form games that satisfy certain properties, the problem of computing a bound-minimizing abstraction for a single level of the game reduces to a clustering problem, where the increase in our bound is the distance function. This reduction leads to the first imperfect-recall abstraction algorithm with solution quality bounds. We proceed to show a divide in the class of abstraction problems. If payoffs are at the same scale at all information sets considered for abstraction, the input forms a metric space. Conversely, if this condition is not satisfied, we show that the input does not form a metric space. Finally, we use these results to experimentally investigate the quality of our bound for single-level abstraction.

研究动机与目标

• 解决大规模不完全信息博弈中不完美记忆抽象缺乏通用解质量保证的问题。
• 为在不完美记忆抽象中计算出的均衡在映射回原始完美记忆博弈时，提供通用的、与算法无关的解质量边界。
• 将此类保证的有效范围推广至先前研究中未涵盖的更广泛的游戏类别。
• 建立抽象质量与聚类之间的联系，其中误差边界对应于输入空间中的距离函数。
• 研究在不同收益缩放条件下，抽象输入的度量空间性质。

提出的方法

• 定义一个广义的广义形式博弈类别，扩展先前工作，以提升解质量边界的适用范围。
• 引入一种新颖的距离函数，用于量化由于抽象导致的解质量误差增加，作为边界最小化的基础。
• 将单层抽象中最小化边界的计算问题，通过所定义的距离函数转化为聚类问题。
• 证明当信息集之间的收益处于同一量纲时，输入空间构成度量空间；否则则不构成。
• 利用聚类简化方法，设计首个具有可证明解质量边界的不完美记忆抽象算法。
• 通过实验评估，检验单层抽象下所推导误差边界的紧致性。

实验结果

研究问题

• RQ1 能否为不完美记忆抽象中的纳什均衡及近似自震颤均衡，建立通用的、与算法无关的解质量边界？
• RQ2 最小化抽象中解质量误差的问题，是否可简化为使用明确定义的距离函数的聚类问题？
• RQ3 在何种条件下，抽象的输入空间构成度量空间？
• RQ4 信息集之间的收益缩放如何影响抽象输入的度量空间结构？
• RQ5 在单层抽象中，所推导的误差边界在实践中有多紧致？

主要发现

• 本文首次为在不完美记忆抽象中计算出的均衡提供了通用的、与算法无关的解质量保证，且其有效性覆盖了比以往结果更广泛的游戏类别。
• 该解质量误差边界在两个方面优于先前结果，可能实现误差边界的指数级缩减。
• 计算最小边界抽象的问题可简化为聚类问题，其中距离函数对应于解质量误差的增加量。
• 当信息集之间的收益处于同一量纲时，抽象的输入空间构成度量空间；否则则不构成。
• 所提出的抽象算法是首个提供可证明解质量边界的算法，从而在广义形式博弈中实现了理论上有保障的抽象。
• 实验评估表明，所推导的边界并非平凡，且能为单层抽象提供有意义的误差估计。