[论文解读] A Super-Polynomial Lower Bound for the Parity Game Strategy Improvement Algorithm as We Know it

Oliver Friedmann|ArXiv.org|Jan 18, 2009

Artificial Intelligence in Games参考文献 11被引用 9

一句话总结

本文提出了一类边数为二次方的非平凡奇偶游戏，其迫使Vöge-Jurdziñski策略改进算法执行指数级数量的迭代，从而证明该算法在最坏情况下需要超多项式时间。该构造表明，即使采用局部优化的改进策略，也无法在这些实例上实现多项式时间性能，从而解决了关于该算法复杂性的长期悬而未决的问题。

ABSTRACT

This paper presents a new lower bound for the discrete strategy improvement algorithm for solving parity games due to Voege and Jurdziski. First, we informally show which structures are difficult to solve for the algorithm. Second, we outline a family of games of quadratic size on which the algorithm requires exponentially many strategy iterations, answering in the negative the long-standing question whether this algorithm runs in polynomial time. Additionally we note that the same family of games can be used to prove a similar result w.r.t. the strategy improvement variant by Schewe.

研究动机与目标

• 解决长期悬而未决的问题：Vöge-Jurdziñski策略改进算法是否能在多项式时间内求解所有奇偶游戏。
• 构造一类奇偶游戏，迫使该算法执行指数级数量的策略迭代。
• 证明尽管该算法具有强大的理论吸引力，其最坏情况下的时间复杂度仍为超多项式。
• 将结果扩展至Schewe的全局优化变体，使用相同的博弈族。
• 挑战一种假设：即策略改进算法是多项式时间求解奇偶游戏的可行候选方法。

提出的方法

• 构造了一类奇偶游戏Gn，其节点数为O(n)，边数为O(n^2)，旨在抵抗高效的策略改进。
• 定义了一个复杂的策略迭代过程，涉及多个策略子组件之间的嵌套状态转移。
• 采用一种基于价值函数局部增益的局部优化改进策略，动态更新策略。
• 通过博弈结构上的归纳推理，证明每次迭代仅向最优策略迈出最小程度的进展。
• 分析策略状态序列，表明算法在收敛前需遍历13×2^n - 9种不同的策略。
• 通过在PGSOLVER平台上的实验基准测试验证理论结果，确认其具有指数级运行时间。

实验结果

研究问题

• RQ1 Vöge-Jurdziñski策略改进算法能否在多项式时间内求解所有奇偶游戏？
• RQ2 是否存在特定的博弈结构，迫使该算法执行指数级数量的迭代？
• RQ3 该下界是否同样适用于Schewe的全局优化策略改进变体？
• RQ4 预处理技术或混合求解器能否缓解这些最坏情况实例上的指数级行为？
• RQ5 由于策略更新机制在结构上的限制，策略改进是否本质上无法实现多项式时间性能？

主要发现

• Vöge-Jurdziñski策略改进算法求解所构造的游戏族Gn恰好需要13 × 2^n - 9次迭代。
• 游戏族Gn具有O(n)个节点和O(n^2)条边，相对于节点数量而言为二次规模。
• 该算法在最坏情况下的运行时间为超多项式，因为每次迭代耗时为多项式时间，而迭代次数为n的指数函数。
• 相同的指数级下界同样适用于同一游戏族上Schewe的全局优化策略改进变体。
• 在PGSOLVER平台上的实验基准测试结果确认了这些实例的指数级运行时间行为。
• 结果表明，由于策略更新机制在有盈利子结构上的结构性限制，仅靠局部或全局改进策略无法使策略改进算法实现多项式时间性能。