[论文解读] Linear Programming for Large-Scale Markov Decision Problems

Yasin Abbasi-Yadkori, Peter L. Bartlett+1 more|arXiv (Cornell University)|Feb 27, 2014

Reinforcement Learning in Robotics参考文献 30被引用 30

一句话总结

本文通过将平均成本问题重新表述为状态-动作对上的平稳分布，提出了一种计算高效的线性规划方法，用于大规模马尔可夫决策过程。该方法引入了两种算法——随机次梯度优化和约束采样——在低维比较类中实现了与最优策略性能相当的结果，误差界仅依赖于类的大小，而不依赖于状态空间大小。

ABSTRACT

We consider the problem of controlling a Markov decision process (MDP) with a large state space, so as to minimize average cost. Since it is intractable to compete with the optimal policy for large scale problems, we pursue the more modest goal of competing with a low-dimensional family of policies. We use the dual linear programming formulation of the MDP average cost problem, in which the variable is a stationary distribution over state-action pairs, and we consider a neighborhood of a low-dimensional subset of the set of stationary distributions (defined in terms of state-action features) as the comparison class. We propose two techniques, one based on stochastic convex optimization, and one based on constraint sampling. In both cases, we give bounds that show that the performance of our algorithms approaches the best achievable by any policy in the comparison class. Most importantly, these results depend on the size of the comparison class, but not on the size of the state space. Preliminary experiments show the effectiveness of the proposed algorithms in a queuing application.

研究动机与目标

• 解决大规模状态空间马尔可夫决策过程（MDPs）中精确动态规划的不可行性问题。
• 开发一种可扩展算法，使其性能可与低维策略族中的最优策略相媲美，而非与最优策略本身比较。
• 在计算复杂度和误差界中避免对状态空间大小的依赖。
• 通过新颖的证明技术，为相对于比较类的性能提供理论保证。

提出的方法

• 使用对偶线性规划重新表述平均成本MDP问题，其中变量为状态-动作对上的平稳分布。
• 将比较类定义为低维平稳分布子集的邻域，通过状态-动作特征进行参数化。
• 提出一种随机次梯度方法来求解近似线性规划，通过最小化惩罚约束违反的代理损失函数来优化。
• 引入一种约束采样技术，通过随机采样单纯形约束和状态平稳性约束，以降低计算成本。
• 使用带有盒约束的正则化项，以确保解的有界性和可行性。
• 采用一种代理损失函数，结合约束违反和平均成本，以指导优化过程。

实验结果

研究问题

• RQ1 我们能否设计一种适用于大规模MDP的可扩展算法，使其性能可与低维策略类中的最优策略相媲美？
• RQ2 我们能否确保误差界仅依赖于比较类的大小，而不依赖于状态空间大小？
• RQ3 我们能否在算法设计中避免对最优策略或其分布采样的知识依赖？
• RQ4 约束采样是否为大规模MDP中的完整LP求解提供了一种实用且理论基础扎实的替代方案？

主要发现

• 随机次梯度方法在平均损失性能上与比较类中的最优策略相当，且误差界与状态空间大小无关。
• 当采样约1%的约束时，约束采样算法在平均损失上相比基线启发式方法（LONGER和LBFS）实现了1%的改进。
• 约束采样的最优样本量约为4,684个单纯形约束（约占总数的1%），当样本量过小或过大时性能均会下降。
• 随着样本量增加，策略性能的方差增大，这是由于对随机约束采样的敏感性增强，特别是当更多单纯形和状态平稳性约束变得活跃时。
• 尽管在不同的近似空间（平稳分布 vs. 值函数）中工作，该算法在相同设置下优于以往的ALP方法。
• 代理损失最小化有效降低了平均损失，这一结论得到实证结果支持，显示其收敛到的损失低于基线启发式方法。