[论文解读] Methods for computing state similarity in Markov Decision Processes

Norman Ferns, Pablo Samuel Castro+2 more|arXiv (Cornell University)|Jun 27, 2012

Fault Detection and Control Systems参考文献 10被引用 17

一句话总结

本文提出了一种高效计算马尔可夫决策过程（MDPs）中状态相似性的方法，利用网络优化和统计抽样来近似计算成本高昂的库朗托维奇度量。通过在时间和空间复杂度之间进行权衡，作者引入了实用的距离函数，保持了高质量的状态聚合，实证验证表明其性能显著优于启发式方法。

ABSTRACT

A popular approach to solving large probabilistic systems relies on aggregating states based on a measure of similarity. Many approaches in the literature are heuristic. A number of recent methods rely instead on metrics based on the notion of bisimulation, or behavioral equivalence between states (Givan et al, 2001, 2003; Ferns et al, 2004). An integral component of such metrics is the Kantorovich metric between probability distributions. However, while this metric enables many satisfying theoretical properties, it is costly to compute in practice. In this paper, we use techniques from network optimization and statistical sampling to overcome this problem. We obtain in this manner a variety of distance functions for MDP state aggregation, which differ in the tradeoff between time and space complexity, as well as the quality of the aggregation. We provide an empirical evaluation of these trade-offs.

研究动机与目标

• 解决在MDP状态相似性计算中库朗托维奇度量的高计算成本问题。
• 开发库朗托维奇度量的实用替代方法，平衡准确性、时间和空间复杂度。
• 通过利用优化和抽样技术，实现在大规模MDPs中的可扩展状态聚合。
• 在聚合质量与计算成本方面，实证评估不同距离计算方法之间的权衡。

提出的方法

• 本文使用网络优化技术计算库朗托维奇度量的近似解，降低计算复杂度。
• 应用统计抽样来估计状态分布之间的库朗托维奇距离，实现更快的计算速度。
• 该方法将状态相似性建模为线性规划问题，随后使用专用的网络流算法求解。
• 提出了该方法的多种变体，其差异在于抽样策略和优化约束，以平衡速度与准确性。
• 该框架支持状态相似性的精确与近似计算，可配置精度与效率之间的权衡。

实验结果

研究问题

• RQ1 如何在不牺牲聚合质量的前提下，高效近似MDPs中状态相似性的库朗托维奇度量？
• RQ2 在状态相似性计算中，计算时间、内存使用与准确性之间的权衡关系是什么？
• RQ3 网络优化与抽样技术能否在大规模MDPs中有效替代精确的库朗托维奇计算？
• RQ4 不同近似策略在状态聚合性能方面如何比较？

主要发现

• 所提出的方法显著降低了与精确库朗托维奇度量计算相比的状态相似性计算成本。
• 基于抽样的近似方法在保持接近精确方法的聚合质量的同时，实现了显著的速度提升。
• 网络优化技术能够高效求解底层的线性规划问题，使该方法可扩展至大规模MDPs。
• 实证评估表明，可根据应用需求有效调节准确性与效率之间的权衡。