[论文解读] Finding Options that Minimize Planning Time

Yuu Jinnai, David Abel+3 more|arXiv (Cornell University)|Oct 16, 2018

Auction Theory and Applications参考文献 38被引用 7

一句话总结

本文形式化了在马尔可夫决策过程（MDPs）中寻找最小选项集合以最小化规划时间的问题，证明其为NP难问题，并提出A-MOMI算法，该算法为多项式时间近似算法，在一般情况下具有O(n)的次优性，在确定性MDPs中具有O(log n)的次优性。该方法在网格世界环境中通过实证验证了其相对于最优选项和基于中心性与特征选项等启发式方法的有效性。

ABSTRACT

We formalize the problem of selecting the optimal set of options for planning as that of computing the smallest set of options so that planning converges in less than a given maximum of value-iteration passes. We first show that the problem is NP-hard, even if the task is constrained to be deterministic---the first such complexity result for option discovery. We then present the first polynomial-time boundedly suboptimal approximation algorithm for this setting, and empirically evaluate it against both the optimal options and a representative collection of heuristic approaches in simple grid-based domains including the classic four-rooms problem.

研究动机与目标

• 形式化选择最小选项集合的问题，以确保在给定的值迭代轮数内实现规划收敛。
• 确立该选项选择问题的计算复杂度，证明即使在确定性MDPs中，该问题也是NP难的。
• 开发一种基于原则的、基于近似的方法，为规划中的选项发现提供理论性能边界。
• 在标准的网格世界领域中，对所提出的算法与最优解和启发式选项发现方法进行实证评估。

提出的方法

• 将选项选择问题形式化为：在最大允许迭代次数ℓ的约束下，最小化达到ε-最优性所需的值迭代轮数。
• 证明该问题为NP难，并建立不可近似性界：除非NP ⊆ DTIME(n^{poly log n})，否则为2^{log^{1−ε}n}-难；除非P = NP，否则为Ω(log n)-难。
• 提出A-MOMI，一种贪心的多项式时间算法，通过在状态到目标的距离上求解集合覆盖问题来构建选项。
• 使用动态规划计算每个状态到目标的最短路径距离，并利用这些距离指导选项选择。
• 通过贪心集合覆盖近似方法，从高影响状态（即能显著减少到目标距离的状态）构建点选项。
• 保证使用所计算的选项集合时，所有状态在ℓ轮迭代内均可达到ε-最优性。

实验结果

研究问题

• RQ1 在MDPs中寻找最小选项集合以最小化规划时间的计算复杂度是什么？
• RQ2 能否为该选项发现问题设计一种具有可证明次优性边界的多项式时间近似算法？
• RQ3 在实践中，所提出算法的性能与最优选项集合以及启发式方法（如中心性与特征选项）相比如何？
• RQ4 与一般MDPs相比，该算法在确定性MDPs中的近似质量是否有所提升？
• RQ5 该算法能否有效应用于标准的网格世界规划问题，如四房间环境？

主要发现

• 即使在确定性MDPs中，寻找最小选项集合以最小化规划时间的问题也是NP难的，且具有强烈的不可近似性界。
• A-MOMI保证在使用所计算的选项集合时，规划在ℓ轮迭代内收敛，且在一般MDPs中具有O(n)的次优性。
• 在确定性MDPs中，A-MOMI实现O(log n)的次优性，显著优于一般情况下的边界。
• 实证评估表明，A-MOMI生成的选项集合在四房间和9×9网格领域中，其视觉和功能表现与最优选项集合高度相似。
• 基于立即距离减少的贪心启发式方法在某些情况下表现较差，其性能改善可能趋近于零。
• 启发式方法如中心性和特征选项表现尚可，但在收敛速度方面仍逊于A-MOMI和最优解。