[论文解读] Improved bound on the worst case complexity of Policy Iteration

Romain Hollanders, Balázs Gerencsér+2 more|Repository of the Academy's Library (Library of the Hungarian Academy of Sciences)|Oct 28, 2014

Machine Learning and Algorithms被引用 7

一句话总结

本文改进了求解马尔可夫决策过程（MDPs）的策略迭代（PI）所需迭代次数的最坏情况上界，证明其收敛至多需要 $\frac{k}{k-1} \cdot \frac{k^n}{n} + o\big(\frac{k^n}{n}\big)$ 步，其中 $n$ 为状态数，$k$ 为每状态的最大动作数。该上界是15年来对Mansour & Singh（1999）结果的首次改进，且被证明对一类松弛序列是紧的，表明进一步收紧需深入分析PI序列的结构。

ABSTRACT

Solving Markov Decision Processes (MDPs) is a recurrent task in engineering. Even though it is known that solutions for minimizing the infinite horizon expected reward can be found in polynomial time using Linear Programming techniques, iterative methods like the Policy Iteration algorithm (PI) remain usually the most efficient in practice. This method is guaranteed to converge in a finite number of steps. Unfortunately, it is known that it may require an exponential number of steps in the size of the problem to converge. On the other hand, many open questions remain considering the actual worst case complexity. In this work, we provide the first improvement over the fifteen years old upper bound from Mansour & Singh (1999) by showing that PI requires at most k/(k-1)*k^n/n + o(k^n/n) iterations to converge, where n is the number of states of the MDP and k is the maximum number of actions per state. Perhaps more importantly, we also show that this bound is optimal for an important relaxation of the problem.

研究动机与目标

• 改进求解马尔可夫决策过程（MDPs）的策略迭代（PI）所需迭代次数的最坏情况上界。
• 弥合自Mansour & Singh（1999）以来长期存在的PI收敛上界与已知下界之间的差距。
• 证明新上界对PI序列的一种自然松弛形式是紧的，表明进一步改进需利用实际PI序列更深层次的组合结构。
• 探索高级组合框架（如网格AUSOs和二值矩阵表示）以期在未来工作中获得更紧的上界。

提出的方法

• 引入伪PI序列（Pseudo-PI-sequence）的概念，即满足实际PI序列所必须遵守的组合条件子集的一类松弛策略序列。
• 证明改进后的上界 $\frac{k}{k-1} \cdot \frac{k^n}{n} + o\big(\frac{k^n}{n}\big)$ 对所有伪PI序列成立，而不仅限于真实PI序列。
• 构造一个长度恰好为 $\frac{k}{k-1} \cdot \frac{k^n}{n} + o\big(\frac{k^n}{n}\big)$ 的显式伪PI序列，证明该上界对这一松弛类是紧的。
• 利用网格上的无环唯一汇定向（AUSOs）框架来建模策略的偏序关系，并分析PI步骤的结构。
• 探索PI序列的二值矩阵表示，其中每行对应一个策略，并对列方向的变化施加组合条件以建模策略转移。
• 借助模拟与结构分析，提示在松弛矩阵模型中可能存在类似斐波那契的界，尤其当 $k=2$ 时，暗示未来可能实现更紧的上界。

实验结果

研究问题

• RQ1 策略迭代在MDPs中所需迭代次数的最坏情况上界能否超越Mansour & Singh（1999）的15年未变的上界？
• RQ2 新上界 $\frac{k}{k-1} \cdot \frac{k^n}{n} + o\big(\frac{k^n}{n}\big)$ 是否对PI序列的某种自然松弛形式是紧的？
• RQ3 真实PI序列还需具备哪些额外的组合性质，才能实现超越伪PI序列所建立上界的更紧上界？
• RQ4 能否通过网格AUSOs或二值矩阵表示进一步刻画PI序列的结构，以获得改进的复杂度上界？
• RQ5 在松弛的二值矩阵模型中，斐波那契数列是否构成PI序列长度的有效上界，特别是当 $k=2$ 时？

主要发现

• 本文建立了策略迭代在MDPs中收敛所需迭代次数的新上界：$\frac{k}{k-1} \cdot \frac{k^n}{n} + o\big(\frac{k^n}{n}\big)$。
• 该上界优于Mansour & Singh（1999）提出的先前最佳上界 $13 \cdot \frac{k^n}{n}$，是15年来首次改进。
• 该上界对一类称为伪PI序列的松弛序列被证明是紧的，因为存在构造使其恰好达到该长度。
• 该结果表明，任何对PI最坏情况上界的进一步改进，都必须依赖于真实PI序列中未被伪PI序列捕捉的更深层次结构特性。
• 模拟结果提示，在 $k=2$ 时，松弛二值矩阵模型中可能存在基于斐波那契的上界 $F_{n+2}$，为未来获得更紧上界提供了潜在路径。
• 本文指出，AUSO框架和基于矩阵的组合模型是未来研究的有前景方向，有望弥合上界与下界之间的差距。