[论文解读] A Lattice-Theoretical View of Strategy Iteration

Paolo Baldan, Richard Eggert+2 more|arXiv (Cornell University)|Jul 20, 2022

Formal Methods in Verification被引用 3

一句话总结

本文提出了一种通用的格理论框架用于策略迭代，将其形式化为在完备MV-链上通过最小-最大分解计算最小不动点的方法。该框架引入了两种算法——从下而上的策略迭代与从上而下的策略迭代，二者均收敛至最小不动点，其正确性通过抽象方法建立，并将该框架应用于能量游戏和概率自动机的行为度量计算。

ABSTRACT

Strategy iteration is a technique frequently used for two-player games in order to determine the winner or compute payoffs, but to the best of our knowledge no general framework for strategy iteration has been considered. Inspired by previous work on simple stochastic games, we propose a general formalisation of strategy iteration for solving least fixpoint equations over a suitable class of complete lattices, based on MV-chains. We devise algorithms that can be used for non-expansive fixpoint functions represented as so-called min- respectively max-decompositions. Correspondingly, we develop two different techniques: strategy iteration from above, which has to solve the problem that iteration might reach a fixpoint that is not the least, and from below, which is algorithmically simpler, but requires a more involved correctness argument. We apply our method to solve energy games and compute behavioural metrics for probabilistic automata.

研究动机与目标

• 为策略迭代提供一种通用且抽象的表述，适用于游戏与概率系统等多样化领域。
• 利用完备MV-链以及非扩张函数的最小-最大变形，形式化策略迭代。
• 为‘从下而上’与‘从上而下’的策略迭代建立正确性，解决后者可能收敛至非最小不动点的问题。
• 展示该框架在能量游戏与概率自动机行为度量计算中的适用性。
• 在单一理论基础下统一并推广现有的策略迭代技术，阐明其底层机制与假设。

提出的方法

• 基于完备MV-链提出一个通用框架，将策略迭代形式化为在非扩张函数上进行不动点计算的方法。
• 引入最小分解与最大分解，以抽象方式建模单方玩家策略的固定，同时计算对方的最优响应。
• 设计两种算法：一种从下而上逐步改进策略（保证收敛至最小不动点），另一种从上而下（需通过跳过技术处理非最小不动点）。
• 利用完备格的结构确保收敛性与正确性，将不动点计算简化为通过线性规划求解更简单的子问题（在具体实例中）。
• 将该框架应用于能量游戏与行为度量，表明已知算法（如KASI）是所提方法在特定情况下的特例。
• 建立理论条件，说明在何种情况下可高效计算对手策略的最优响应，例如在SSG中通过线性规划实现。

实验结果

研究问题

• RQ1 策略迭代能否在独立于具体应用领域的通用抽象设定中被形式化？
• RQ2 当策略迭代从上而下可能收敛至非最小不动点时，如何确保其正确性？
• RQ3 函数与格的何种结构特性可确保策略迭代收敛至最小不动点？
• RQ4 该框架在多大程度上能统一现有游戏与度量计算中的策略迭代算法？
• RQ5 在何种条件下，可在该框架内高效计算对固定策略的最优响应？

主要发现

• 所提出的框架通过在完备MV-链上使用最小-最大分解来建模策略固定，将策略迭代推广至广泛问题类别。
• 从下而上的策略迭代保证收敛至最小不动点，其正确性通过抽象格理论推理建立。
• 从上而下的策略迭代需引入跳过非最小不动点的机制，该问题通过先前关于SSG的研究工具得以解决。
• 该框架成功实例化于能量游戏，为双方玩家提供最优策略的计算方法。
• 该框架将均值支付游戏中的下界问题KASI算法作为从下而上的策略迭代的特例加以捕捉。
• 该方法为概率自动机中行为度量的计算提供了统一基础，以更简洁、抽象的形式整合了复杂现有程序。