[论文解读] Compositional Game Theory with Mixed Strategies: Probabilistic Open Games Using a Distributive Law

Neil Ghani, Clemens Kupke+2 more|Strathprints: The University of Strathclyde institutional repository (University of Strathclyde)|Sep 15, 2020

Game Theory and Voting Systems被引用 4

一句话总结

本论文通过离散概率分布单子（discrete probability distribution monad）将组合博弈论扩展至混合策略，构建了一个概率性开放博弈的对称单性范畴。它引入了一种类 Kleisli 提升（relational Kleisli lifting），在无需概率性行动函数的前提下建模混合策略，并证明该框架支持并行与串行复合、函子关系以及纯博弈与概率性博弈之间的伴随关系。

ABSTRACT

We extend the open games framework for compositional game theory to encompass also mixed strategies, making essential use of the discrete probability distribution monad. We show that the resulting games form a symmetric monoidal category, which can be used to compose probabilistic games in parallel and sequentially. We also consider morphisms between games, and show that intuitive constructions give rise to functors and adjunctions between pure and probabilistic open games.

研究动机与目标

• 将组合博弈论扩展至包含混合策略，以确保有限博弈中纳什均衡的存在性。
• 通过在离散分布单子上引入概率性策略配置，解决纯开放博弈可能缺乏均衡的局限性。
• 构建一个范畴框架，利用对称单性结构支持概率性博弈的串行与并行复合。
• 定义保持博弈论结构的博弈间态射，并支持纯博弈与概率性博弈范畴之间的函子与伴随关系。
• 建立一个基础框架，用于通过单子结构（超越分布单子）建模相关均衡及其他具有效应的博弈论现象。

提出的方法

• 使用 $\mathsf{Set}$ 上的离散概率分布单子 $\mathcal{D}$ 建模混合策略，其中 $\mathcal{D}(X)$ 表示集合 $X$ 上具有有限支集的概率分布集合。
• 引入一种关系类 Kleisli 提升，将具有非概率参数的谓词转换为具有混合参数的谓词，从而实现对概率性策略配置的非平凡处理。
• 将概率性开放博弈定义为四元组 $(\Sigma_{\mathcal{G}}, P_{\mathcal{G}}, C_{\mathcal{G}}, E_{\mathcal{G}})$，其中策略集为标准形式，但行动函数与效用函数通过单子结构被提升以处理分布。
• 为结果集 $R$ 和 $S$ 赋予 $\mathcal{D}$-代数结构，以支持数学期望效用计算，确保与概率推理的兼容性。
• 构建一个确定化函子 $\Delta^\prime$，将概率性博弈映射至分布空间上的纯博弈，利用 $\mathcal{D}$ 的双重强度（double strength）。
• 定义从纯博弈到概率性博弈的全忠实嵌入 $\Theta$，并证明其具有右伴随 $\Psi$，从而在两个范畴之间建立范畴伴随关系。

实验结果

研究问题

• RQ1 如何在保持开放博弈范畴结构的前提下，将组合博弈论扩展至包含混合策略？
• RQ2 在不依赖概率性行动函数的前提下，建模混合策略的正确范畴提升机制是什么？
• RQ3 所得到的概率性开放博弈框架能否构成一个在并行与串行复合下封闭的对称单性范畴？
• RQ4 纯博弈与概率性博弈之间的函子与伴随关系是如何产生的？其博弈论意义为何？
• RQ5 该框架能否推广以建模其他具有效应的博弈论现象，如相关均衡或退出博弈？

主要发现

• 概率性开放博弈范畴 $\mathsf{Game}_{\mathsf{Prob}}$ 在并行与串行复合下构成一个对称单性范畴。
• 关系类 Kleisli 提升通过将关于纯策略的谓词转换为关于概率分布的谓词，实现了对混合策略的非平凡处理。
• 确定化函子 $\Delta^\prime$ 将概率性博弈映射至分布空间上的纯博弈，满足 $\Sigma_{\Delta^\prime(\mathcal{G})} = \mathcal{D}(\Sigma_{\mathcal{G}})$，并可扩展为函子 $\Delta^\prime: \mathsf{Game}_{\mathsf{Prob}} \to \mathsf{Game}_{\mathsf{Pure}}^\prime$。
• 嵌入函子 $\Theta: \mathsf{Game}_{\mathsf{Pure}}^\prime \to \mathsf{Game}_{\mathsf{Prob}}$ 具有右伴随 $\Psi$，从而在纯博弈与概率性博弈之间建立了范畴对偶性。
• 该框架成功地通过混合策略均衡建模了核心博弈论范例，如配对硬币（Matching Pennies）与市场进入博弈（Market Entry Game）。
• 结果具有足够的普遍性，不依赖于 $\mathcal{D}$ 的特定性质，暗示其可推广至其他单子（如异常单子 exceptions monad）以建模退出博弈等场景。