[论文解读] Different Strokes in Randomised Strategies: Revisiting Kuhn's Theorem under Finite-Memory Assumptions

James C. A. Main, Mickaël Randour|arXiv (Cornell University)|Jan 1, 2022

Game Theory and Applications被引用 1

一句话总结

本文通過根據初始設定、轉移或輸出中哪些組成部分被隨機化，對兩名玩家的並行隨機博弈中的有限記憶隨機策略進行分類，提供了完整的分類法。結果顯示，在有限記憶約束下，Kuhn定理（在完美記憶與無限記憶下將混合策略與行為策略等價）不成立，並在策略類別之間出現嚴格的表達力層次結構。

ABSTRACT

Two-player (antagonistic) games on (possibly stochastic) graphs are a prevalent model in theoretical computer science, notably as a framework for reactive synthesis. Optimal strategies may require randomisation when dealing with inherently probabilistic goals, balancing multiple objectives, or in contexts of partial information. There is no unique way to define randomised strategies. For instance, one can use so-called mixed strategies or behavioural ones. In the most general setting, these two classes do not share the same expressiveness. A seminal result in game theory -- Kuhn's theorem -- asserts their equivalence in games of perfect recall. This result crucially relies on the possibility for strategies to use infinite memory, i.e., unlimited knowledge of all past observations. However, computer systems are finite in practice. Hence it is pertinent to restrict our attention to finite-memory strategies, defined as automata with outputs. Randomisation can be implemented in these in different ways: the initialisation, outputs or transitions can be randomised or deterministic respectively. Depending on which aspects are randomised, the expressiveness of the corresponding class of finite-memory strategies differs. In this work, we study two-player concurrent stochastic games and provide a complete taxonomy of the classes of finite-memory strategies obtained by varying which of the three aforementioned components are randomised. Our taxonomy holds in games of perfect and imperfect information with perfect recall, and in games with more than two players. We also provide an adapted taxonomy for games with imperfect recall.

研究动机与目标

• 對兩名玩家並行隨機博弈中有限記憶隨機策略的表達力進行分類。
• 研究初始設定、轉移或輸出中的隨機化如何影響策略等價性與表達力。
• 確定Kuhn定理（將混合策略與行為策略等價）在有限記憶假設下是否成立。
• 將分類法擴展至具有不完美信息與完美記憶的博弈，並識別策略類別之間的嚴格包含關係。
• 提供構造性證明與反例，以展示策略類別之間的分離，包括在實際反應合成設定中的應用。

提出的方法

• 將有限記憶策略定義為具有隨機化組成部分（初始設定、轉移、輸出）的Mealy機器。
• 根據三種組成部分（初始設定、轉移、輸出）中哪些是隨機化或確定性的，將策略分為8種類型。
• 使用結果等價性作為比較標準：若兩種策略在面對任何對手策略時產生完全相同的動作分佈，則它們是等價的。
• 構造策略類別之間的有效模擬（例如，使用DRD模擬RDD）以證明包含關係。
• 提供反例以顯示嚴格包含關係（例如，不存在任何DRR策略能模擬某些RDD策略），並通過博弈論構造實現。
• 通過將證明適配為使用觀測而非動作，將結果推廣至具有不完美信息但完美記憶的博弈。

实验结果

研究问题

• RQ1 在結果等價性下，哪些有限記憶隨機策略類別具有表達力等價性？
• RQ2 當策略被限制為有限記憶時，Kuhn定理（將混合策略與行為策略等價）是否仍然成立？
• RQ3 在具有完美記憶的博弈中，是否每個僅隨機化輸出的策略（RDD）都能被僅隨機化初始設定的策略（DRD）模擬？
• RQ4 當隨機化被限制在有限記憶時，是否存在策略類別之間的嚴格包含關係，且這些關係能否通過有效構造來驗證？
• RQ5 與完美信息博弈相比，具有不完美信息但完美記憶的博弈中，表達力層次結構如何變化？

主要发现

• 有限記憶隨機策略的表達力層次結構是嚴格的：在結果等價性下，DRR、RDR、RRD、RDD、DRD、DDR、DDD 和 RRR 均互不相同。
• 在具有不完美信息但完美記憶的博弈中，存在一個RDD策略，其沒有任何結果等價的DRR策略，從而證明了這兩個類別之間存在嚴格分離。
• 具有隨機化初始設定與確定性轉移的策略類別（DRD）可以在具有完美記憶的博弈中模擬所有RDD策略，從而確立嚴格包含關係。
• RRR策略（隨機化初始設定、轉移與輸出）可以被DRR策略（確定性初始設定、隨機化轉移與輸出）模擬，表明RRR ⊆ DRR。
• DRR策略模擬RRR策略的證明依賴於一種新穎的初始記憶狀態，其精心構建的隨機轉移分佈與RRR策略的第一步記憶分佈完全匹配。
• 在完美信息博弈中建立的分類法可推廣至具有不完美信息與完美記憶的博弈，並保持所有包含關係與嚴格分離關係不變。