[论文解读] A Sample-Efficient Algorithm for Episodic Finite-Horizon MDP with Constraints

Krishna C. Kalagarla, Rahul Jain+1 more|arXiv (Cornell University)|Sep 23, 2020

Formal Methods in Verification被引用 12

一句话总结

该论文提出UC-CFH，一种针对未知转移概率的 episodic finite-horizon constrained MDP 的样本高效在线算法。通过在占用度量中利用基于线性规划的乐观规划，其在样本复杂度上实现了 PAC 保证，复杂度为 $\tilde{\mathcal{O}}\big{(}\frac{|\mathcal{S}||\mathcal{A}|C^{2}H^{2}}{\epsilon^{2}}\log\frac{1}{\delta}\big{)}$，其中 $C$ 为每个状态-动作对的最大后继状态数，确保以高概率实现 $\epsilon$-最优性能和约束满足。

ABSTRACT

Constrained Markov Decision Processes (CMDPs) formalize sequential decision-making problems whose objective is to minimize a cost function while satisfying constraints on various cost functions. In this paper, we consider the setting of episodic fixed-horizon CMDPs. We propose an online algorithm which leverages the linear programming formulation of finite-horizon CMDP for repeated optimistic planning to provide a probably approximately correct (PAC) guarantee on the number of episodes needed to ensure an $ε$-optimal policy, i.e., with resulting objective value within $ε$ of the optimal value and satisfying the constraints within $ε$-tolerance, with probability at least $1-δ$. The number of episodes needed is shown to be of the order $ ilde{\mathcal{O}}\big(\frac{|S||A|C^{2}H^{2}}{ε^{2}}\log\frac{1}δ\big)$, where $C$ is the upper bound on the number of possible successor states for a state-action pair. Therefore, if $C \ll |S|$, the number of episodes needed have a linear dependence on the state and action space sizes $|S|$ and $|A|$, respectively, and quadratic dependence on the time horizon $H$.

研究动机与目标

• 解决在转移概率未知的情况下，学习 episodic finite-horizon MDP 中近似最优策略的挑战。
• 在在线学习过程中，对性能和约束满足提供 Probably Approximately Correct (PAC) 保证。
• 通过最小化达到 $\epsilon$-最优策略所需的 episode 数量，实现样本效率。
• 通过在占用度量中采用新颖的线性规划公式，将“面对不确定性时的乐观”原则扩展至 constrained MDP。
• 将样本复杂度对时间跨度 $H$ 的依赖关系从立方降低至二次，优于先前基于 regret 的公式。

提出的方法

• 该算法采用基于“面对不确定性时的乐观”原则的乐观规划方法，以平衡探索与利用。
• 它从观测轨迹中构建一组统计上可能的转移模型，并随时间更新置信区间。
• 乐观策略选择被表述为占用度量中的线性规划（LP），并包含对期望累积成本的约束。
• 该算法在多个 episode 中执行乐观策略，直到状态-动作对被足够频繁地访问，然后更新访问计数并重复该过程。
• 它利用浓度不等式来限制模型不确定性，并确保策略质量与约束满足的高概率保证。
• 样本复杂度通过置信区间的递归分析以及涉及 $m_1$ 和 $m$ 的新颖参数化推导得出，最终在 $|\mathcal{S}|$、$|\mathcal{A}|$、$C$、$H$、$\epsilon$ 和 $\delta$ 方面得到紧致的上界。

实验结果

研究问题

• RQ1 在转移概率未知的 episodic finite-horizon CMDP 中，保证获得 $\epsilon$-最优策略所需的最少 episode 数量是多少？
• RQ2 “面对不确定性时的乐观”原则能否被有效扩展至 constrained MDP，并提供可证明的 PAC 保证？
• RQ3 样本复杂度如何随状态空间大小 $|\mathcal{S}|$、动作空间大小 $|\mathcal{A}|$、时间跨度 $H$ 和约束结构变化？
• RQ4 能否将样本复杂度中对时间跨度 $H$ 的依赖关系从立方降低至二次？
• RQ5 最大后继状态数 $C$ 对学习算法整体样本效率的影响是什么？

主要发现

• 所提出的 UC-CFH 算法在以至少 $1-\delta$ 的概率实现 $\epsilon$-最优策略时，样本复杂度为 $\tilde{\mathcal{O}}\big{(}\frac{|\mathcal{S}||\mathcal{A}|C^{2}H^{2}}{\epsilon^{2}}\log\frac{1}{\delta}\big{)}$。
• 样本复杂度对时间跨度 $H$ 展现出二次依赖关系，优于先前基于 regret 公式的立方上界。
• 当 $C \ll |\mathcal{S}|$ 时，算法在 $|\mathcal{S}|$ 和 $|\mathcal{A}|$ 上表现出线性依赖，使其在大规模状态和动作空间中具备可扩展性。
• 该算法以高概率确保约束在 $\epsilon$ 容差范围内被满足，提供了对约束违反的正式保证。
• 分析表明，智能体执行 $\epsilon$-次优策略的 episode 数量以高概率被所推导的样本复杂度所限制。
• 该方法无需生成模型，仅依赖观测轨迹，从而增强了实际适用性。