[论文解读] Efficiently Solving MDPs with Stochastic Mirror Descent

Yujia Jin, Aaron Sidford|arXiv (Cornell University)|Aug 28, 2020

Markov Chains and Monte Carlo Methods被引用 20

一句话总结

本文提出了一种统一的原始-对偶随机镜像下降框架，用于高效求解具有生成模型的无限时域马尔可夫决策过程（MDPs）。对于平均奖励MDP，其样本复杂度为 $\widetilde{O}(t_{\mathrm{mix}}^2 \mathrm{A_{tot}} \epsilon^{-2})$，消除了对遍历性的依赖；对于折扣MDP，其样本复杂度为 $\widetilde{O}((1-\gamma)^{-4} \mathrm{A_{tot}} \epsilon^{-2})$，在对数因子范围内达到当前最优水平。

ABSTRACT

We present a unified framework based on primal-dual stochastic mirror descent for approximately solving infinite-horizon Markov decision processes (MDPs) given a generative model. When applied to an average-reward MDP with $A_{tot}$ total state-action pairs and mixing time bound $t_{mix}$ our method computes an $ε$-optimal policy with an expected $\widetilde{O}(t_{mix}^2 A_{tot} ε^{-2})$ samples from the state-transition matrix, removing the ergodicity dependence of prior art. When applied to a $γ$-discounted MDP with $A_{tot}$ total state-action pairs our method computes an $ε$-optimal policy with an expected $\widetilde{O}((1-γ)^{-4} A_{tot} ε^{-2})$ samples, matching the previous state-of-the-art up to a $(1-γ)^{-1}$ factor. Both methods are model-free, update state values and policies simultaneously, and run in time linear in the number of samples taken. We achieve these results through a more general stochastic mirror descent framework for solving bilinear saddle-point problems with simplex and box domains and we demonstrate the flexibility of this framework by providing further applications to constrained MDPs.

研究动机与目标

• 开发一种通用的、无模型的框架，用于使用生成模型求解无限时域MDP。
• 消除先前方法在平均奖励MDP中因遍历性假设而受到的限制。
• 在平均奖励与折扣奖励MDP上，实现与现有最先进方法相当或更优的样本复杂度。
• 通过将其扩展至约束MDP，展示该框架的灵活性。
• 通过使用随机镜像下降的统一优化视角，统一处理MDP。

提出的方法

• 将平均奖励与折扣奖励MDP建模为单纯形与盒形域上的双线性鞍点问题。
• 应用一种专为这些域设计的新颖随机镜像下降（SMD）框架，实现每样本高效、线性时间的更新。
• 利用来自生成模型的转移矩阵与奖励矩阵的无偏估计器，以支持在线学习。
• 采用一种投影过程，将近似对偶解映射为 $\epsilon$-最优策略。
• 提出一种广义SMD框架，支持 $\ell_{\infty}$ 回归与约束优化作为特例。
• 利用混合时间界与矩阵范数集中性，控制对偶变量中的误差传播。

实验结果

研究问题

• RQ1 一个单一的随机镜像下降框架能否在平均奖励与折扣奖励MDP上均实现最优样本复杂度？
• RQ2 在无遍历性假设下，平均奖励MDP的样本复杂度对混合时间 $t_{\mathrm{mix}}$ 的最小依赖关系是什么？
• RQ3 该框架能否扩展以处理具有理论保证的约束MDP？
• RQ4 基于SMD的MDP求解器的样本复杂度与值迭代和Q-learning方法相比如何？
• RQ5 对于一般MDP，样本复杂度除 $t_{\mathrm{mix}}$ 与 $\gamma$ 外，还应依赖于哪些问题参数？

主要发现

• 对于混合时间有界的平均奖励MDP $t_{\mathrm{mix}}$，该方法实现了 $\widetilde{O}(t_{\mathrm{mix}}^2 \mathrm{A_{tot}} \epsilon^{-2})$ 的期望样本复杂度，消除了对遍历性假设的需求。
• 对于折扣因子为 $\gamma$ 的折扣MDP，该方法实现了 $\widetilde{O}((1-\gamma)^{-4} \mathrm{A_{tot}} \epsilon^{-2})$ 的样本复杂度，在对数因子范围内与最佳已知结果一致。
• 该算法的运行时间与所取样本数呈线性关系，支持高效的在线更新。
• 该框架在求解具有单纯形与盒形域的密集双线性鞍点问题时具有理论保证的高效性，实现次线性运行时间。
• 该方法可扩展至约束MDP，为近似优化此类问题提供了新方法。
• 分析揭示了MDP与 $\ell_{\infty}$ 回归之间的强关联，表明凸优化工具在强化学习中具有更广泛的应用潜力。