[论文解读] BL-WoLF: A Framework For Loss-Bounded Learnability In Zero-Sum Games

Vincent Conitzer, Tüomas Sandholm|arXiv (Cornell University)|Jul 3, 2003

Advanced Bandit Algorithms Research参考文献 22被引用 12

一句话总结

本文提出了 BL-WoLF 框架，用于分析在重复零和博弈中学习成本的问题，其中学习过程中的损失被限制在一定范围内。该框架形式化了对抗条件下学习的可学习性，表明即使在缺乏完整博弈知识的情况下，智能体仍可通过概率性和近似学习策略实现有界损失，且对确定性和随机博弈家族均提供保证。

ABSTRACT

We present BL-WoLF, a framework for learnability in repeated zero-sum games where the cost of learning is measured by the losses the learning agent accrues (rather than the number of rounds). The game is adversarially chosen from some family that the learner knows. The opponent knows the game and the learner's learning strategy. The learner tries to either not accrue losses, or to quickly learn about the game so as to avoid future losses (this is consistent with the Win or Learn Fast (WoLF) principle; BL stands for ``bounded loss''). Our framework allows for both probabilistic and approximate learning. The resultant notion of {\em BL-WoLF}-learnability can be applied to any class of games, and allows us to measure the inherent disadvantage to a player that does not know which game in the class it is in. We present {\em guaranteed BL-WoLF-learnability} results for families of games with deterministic payoffs and families of games with stochastic payoffs. We demonstrate that these families are {\em guaranteed approximately BL-WoLF-learnable} with lower cost. We then demonstrate families of games (both stochastic and deterministic) that are not guaranteed BL-WoLF-learnable. We show that those families, nevertheless, are {\em BL-WoLF-learnable}. To prove these results, we use a key lemma which we derive.

研究动机与目标

• 形式化一种衡量重复零和博弈中学习成本的框架，其中成本定义为累积损失而非时间。
• 解决对抗性对手利用学习智能体缺乏知识这一弱点的挑战，尤其在对手知晓学习者策略时。
• 提出一种可学习性的概念，确保智能体要么避免高损失，要么快速学会接近最优策略，与“赢或快速学习”（WoLF）原则一致。
• 区分保证的 BL-WoLF-可学习性与近似的 BL-WoLF-可学习性，并刻画在有界损失下哪些博弈家族是可学习的。
• 为确定性和随机博弈家族提供理论保证，包括即使完全可学习性无法保证但有界损失仍可实现的情况。

提出的方法

• 提出 BL-WoLF（有界损失-赢或快速学习）作为在对抗条件下评估重复零和博弈中可学习性的框架。
• 引入四个定义：保证的 BL-WoLF-可学习性、保证的近似 BL-WoLF-可学习性、BL-WoLF-可学习性以及近似 BL-WoLF-可学习性，每种定义具有不同的损失界限。
• 使用一个关键引理证明：若一个博弈家族是保证近似的 BL-WoLF-可学习的，则其在期望下也是近似的 BL-WoLF-可学习的。
• 将该框架应用于具有确定性收益的博弈家族（例如，get-close-to-the-target，generalized-rock-paper-scissors-with-duds）和具有随机收益的博弈家族（例如，random-orientation-generalized-rock-paper-scissors-with-duds）。
• 证明即使某些博弈家族无法保证 BL-WoLF-可学习（例如，get-close-to-one-of-two-targets，generalized-matching-pennies-with-duds），在期望损失约束下仍可实现 BL-WoLF-可学习。
• 采用概率性和近似学习策略，使智能体能够在探索与利用之间取得平衡，同时最小化累积损失。

实验结果

研究问题

• RQ1 当博弈从已知家族中被对抗性选择时，学习智能体是否能在重复零和博弈中实现有界损失？
• RQ2 在对抗性环境中，学习成本（以累积损失衡量）与传统的时间基准学习度量相比如何？
• RQ3 哪些零和博弈家族可保证 BL-WoLF-可学习？哪些仅需期望损失界限？
• RQ4 近似学习策略是否能降低损失成本，同时仍实现接近最优的表现？
• RQ5 博弈家族的哪些结构性特征决定了其在有界损失下是否可实现 BL-WoLF-可学习？

主要发现

• 具有确定性收益的博弈家族，如 get-close-to-the-target 和 generalized-rock-paper-scissors-with-duds，可保证近似 BL-WoLF-可学习，且损失成本较低。
• 包括 random-orientation-generalized-rock-paper-scissors-with-duds 在内的随机博弈家族，同样可保证近似 BL-WoLF-可学习。
• 如 get-close-to-one-of-two-targets 和 generalized-matching-pennies-with-duds 等家族，虽无法保证 BL-WoLF-可学习，但在期望下仍可实现 BL-WoLF-可学习。
• 本文证明了保证的近似 BL-WoLF-可学习性蕴含近似的 BL-WoLF-可学习性，确立了可学习性概念的层级结构。
• 推导出一个关键引理，以支持理论分析，使不同可学习性定义的比较成为可能，并证明了该框架的稳健性。
• 该框架提供了一种通用方法，用于衡量在零和博弈中缺乏知识时的最坏情况成本，从而实现对不同博弈家族之间可学习性的比较。