[论文解读] A complexity analysis of Policy Iteration through combinatorial matrices arising from Unique Sink Orientations

Romain Hollanders, Balázs Gerencsér+2 more|arXiv (Cornell University)|Jul 16, 2014

Formal Methods in Verification参考文献 7被引用 3

一句话总结

本文分析了在超立方体的无环唯一汇定向图（AUSOs）上求解策略迭代（PI）的复杂度，引入了一种新颖的组合框架——有序正则性（OR），用于研究PI的行为。本文否定了Hansen和Zwick提出的猜想，即PI的步数遵循斐波那契数列，并建立了PI步数的新指数下界Ω(1.4269ⁿ)，优于先前的Ω(1.4142ⁿ)下界。

ABSTRACT

Unique Sink Orientations (USOs) are an appealing abstraction of several major optimization problems of applied mathematics such as for instance Linear Programming (LP), Markov Decision Processes (MDPs) or 2-player Turn Based Stochastic Games (2TBSGs). A polynomial time algorithm to find the sink of a USO would translate into a strongly polynomial time algorithm to solve the aforementioned problems---a major quest for all three cases. In addition, we may translate MDPs and 2TBSGs into the problem of finding the sink of an acyclic USO of a cube, which can be done using the well-known Policy Iteration algorithm (PI). The study of its complexity is the object of this work. Despite its exponential worst case complexity, the principle of PI is a powerful source of inspiration for other methods. As our first contribution, we disprove Hansen and Zwick's conjecture claiming that the number of steps of PI should follow the Fibonacci sequence in the worst case. Our analysis relies on a new combinatorial formulation of the problem---the so-called Order-Regularity formulation (OR). Then, for our second contribution, we (exponentially) improve the $Ω(1.4142^n)$ lower bound on the number of steps of PI from Schurr and Szabó in the case of the OR formulation and obtain an $Ω(1.4269^n)$ bound.

研究动机与目标

• 分析在超立方体的无环唯一汇定向图（AUSOs）上求解策略迭代（PI）的最坏情况复杂度。
• 研究Hansen和Zwick提出的猜想是否成立，即PI在最坏情况下步数是否遵循斐波那契数列。
• 开发一种新的组合框架——有序正则性（OR），用于建模和分析PI在AUSOs中的行为。
• 改进现有PI在AUSOs中所需步数的下界。
• 探讨该新下界是否可推广至实际的AUSO实例，特别是来自马尔可夫决策过程（MDPs）和两时间层吸收半马尔可夫决策过程（2TBSGs）的实例。

提出的方法

• 提出有序正则性（OR）形式化作为新的组合抽象，用于建模PI在AUSOs上的行为。
• 提出一种往返搜索算法（算法2），通过迭代构建并反转矩阵来探索更大的OR矩阵。
• 采用递归构造（算法1）生成具有强OR特性的候选矩阵，起始于随机初始矩阵。
• 使用逆变换（B^rev）确保在迭代过程中强有序正则性属性得以保持。
• 将OR框架应用于分析PI的步数，通过将算法的转移建模为结构化矩阵空间中的移动。
• 证明所构造矩阵的行数（即PI的步数）在迭代过程中单调递增，从而保证每一步均实现改进。

实验结果

研究问题

• RQ1 在最坏情况下，PI在AUSOs上的步数是否如Hansen和Zwick所猜想的那样遵循斐波那契数列？
• RQ2 能否通过新的组合框架改进PI在AUSOs上现有Ω(1.4142ⁿ)的下界？
• RQ3 有序正则性（OR）形式化是否是分析PI在AUSOs中复杂度的有效且有用的抽象？
• RQ4 新下界Ω(1.4269ⁿ)是否可推广至来自MDPs或2TBSGs的实际AUSO实例？
• RQ5 OR矩阵中是否存在可映射回有效AUSOs的结构性质，从而使该下界适用于真实的AUSO问题？

主要发现

• 本文否定了Hansen和Zwick提出的猜想，即PI在最坏情况下的步数遵循斐波那契数列。
• 为PI在AUSOs上的步数建立了新的指数下界Ω(1.4269ⁿ)，优于先前的Ω(1.4142ⁿ)下界。
• 引入有序正则性（OR）形式化作为分析PI在AUSOs中行为的有力新组合抽象。
• 证明往返搜索算法（算法2）在每次迭代中单调增加OR矩阵的规模，确保算法进展。
• OR框架在矩阵反转和递归构造下表现出鲁棒性，支持生成规模不断增大的OR矩阵。
• 若能为所构造的实例建立OR矩阵到AUSOs的映射，则新下界仍有可能推广至实际AUSO实例。