[论文解读] Faster saddle-point optimization for solving large-scale Markov decision processes

Joan Bas-Serrano, Gergely Neu|arXiv (Cornell University)|Sep 22, 2019

Reinforcement Learning in Robotics参考文献 20被引用 4

一句话总结

该论文通过引入一种新型一致性假设，提出了一种针对大规模马尔可夫决策过程（MDPs）的更快的鞍点优化方法，采用松弛化的双线性鞍点公式。该方法实现了 $\tilde{\mathcal{O}}(\tau_{\text{mix}}^2 N^3 / \varepsilon)$ 的运行时间以找到 $\varepsilon$-最优策略，且该时间复杂度与状态空间大小无关，并证明了在松弛优化下，一致性假设对于收敛到最优策略而言既是必要也是充分条件。

ABSTRACT

We consider the problem of computing optimal policies in average-reward Markov decision processes. This classical problem can be formulated as a linear program directly amenable to saddle-point optimization methods, albeit with a number of variables that is linear in the number of states. To address this issue, recent work has considered a linearly relaxed version of the resulting saddle-point problem. Our work aims at achieving a better understanding of this relaxed optimization problem by characterizing the conditions necessary for convergence to the optimal policy, and designing an optimization algorithm enjoying fast convergence rates that are independent of the size of the state space. Notably, our characterization points out some potential issues with previous work.

研究动机与目标

• 开发一种可证明高效的、基于凸优化的方法，用于求解大规模平均奖励MDP，而无需依赖动态规划。
• 刻画松弛化鞍点公式在何种条件下能产生最优策略，重点关注可实现性与新定义的一致性条件。
• 设计一种收敛速率与状态空间大小无关的优化算法，相较于先前方法中 $1/\varepsilon^2$ 的依赖关系有所改进。
• 通过构造反例证明一致性假设的必要性，即在缺乏该假设时，松弛化方法可能无法得到最优策略。
• 澄清基于特征的策略优化的理论基础，区分值函数近似与策略次优性之间的差异。

提出的方法

• 通过线性规划对偶性，将平均奖励MDP问题公式化为双线性鞍点问题。
• 引入使用特征映射 $F$ 和 $W$ 参数化值函数与策略的松弛优化问题，以降低维度。
• 采用镜像近似（Mirror Prox）算法求解松弛化鞍点问题，确保以 $\tilde{\mathcal{O}}(\tau_{\text{mix}}^2 N^3 / \varepsilon)$ 的运行时间实现快速收敛。
• 定义一种新的“一致性假设”，关联特征映射 $F$ 与 $W$，以确保松弛空间中的最优解对应于最优策略。
• 通过 $y^*$ 的对偶表示实现策略恢复，即 $\mu^* = W^T y^*$，从而从松弛解中恢复策略。
• 通过理论证明表明：一致性假设可确保松弛问题保持最优性；若违反该假设，则可能导致次优策略。

实验结果

研究问题

• RQ1 在何种条件下，MDP线性规划的松弛化鞍点公式能产生最优策略？
• RQ2 我们能否在策略优化中实现与状态空间大小无关的快速收敛速率？
• RQ3 一致性假设对于松弛化鞍点方法的可行性是否必要？
• RQ4 与先前工作相比，该方法在混合时间与策略分布比率上的依赖关系如何？
• RQ5 当一致性假设仅近似成立时，该松弛化方法的理论保证是否仍可推广？

主要发现

• 所提算法在寻找 $\varepsilon$-最优策略时，运行时间为 $\tilde{\mathcal{O}}(\tau_{\text{mix}}^2 N^3 / \varepsilon)$，其中 $N$ 为松弛问题中的参数数量，$\tau_{\text{mix}}$ 为混合时间。
• 一致性假设对于松弛化鞍点公式产生最优策略而言，既是必要也是充分条件；违反该假设可能导致次优解。
• 该方法在性能上优于先前工作：将对精度的依赖从 $1/\varepsilon^2$ 改进为 $1/\varepsilon$，并避免了对策略分布均匀性参数 $\alpha^2$ 的依赖，而该参数在 $|\mathcal{X}|$ 上可能呈指数级增长。
• 作者构造了一个反例，表明若缺乏一致性假设，即使松弛问题的最优解也无法产生最优策略。
• 分析表明，先前某些观点（如 Chen 等人，2018 年）认为仅需可实现性即可保证收敛，可能存在问题，因为其隐含依赖于有界平稳分布比率，而这一条件在实践中常被违反。
• 一致性假设提供了比以往条件更基础且更清晰的理论基础，使得在基于特征的MDP中对优化算法的分析更加透明和严谨。