[论文解读] Learning in Markov Decision Processes under Constraints

Rahul Singh, Abhishek Gupta+1 more|arXiv (Cornell University)|Feb 27, 2020

Advanced Bandit Algorithms Research参考文献 29被引用 15

一句话总结

该论文提出 UCRL-CMDP，一种用于具有多个平均成本约束的马尔可夫决策过程的基于模型的强化学习算法。其在期望的 $M+1$ 维 regret 向量（包含奖励 regret 和 $M$ 个成本 regret）上实现了 $\tilde{O}(T^{2/3})$ 的上界，同时在牺牲其他成本 regret 的代价下，实现了对成本 regret 之间可调的权衡，使其成为首个在平均成本约束下具备此类保证的非回合制强化学习算法。

ABSTRACT

We consider reinforcement learning (RL) in Markov Decision Processes in which an agent repeatedly interacts with an environment that is modeled by a controlled Markov process. At each time step $t$, it earns a reward, and also incurs a cost-vector consisting of $M$ costs. We design model-based RL algorithms that maximize the cumulative reward earned over a time horizon of $T$ time-steps, while simultaneously ensuring that the average values of the $M$ cost expenditures are bounded by agent-specified thresholds $c^{ub}_i,i=1,2,\ldots,M$. In order to measure the performance of a reinforcement learning algorithm that satisfies the average cost constraints, we define an $M+1$ dimensional regret vector that is composed of its reward regret, and $M$ cost regrets. The reward regret measures the sub-optimality in the cumulative reward, while the $i$-th component of the cost regret vector is the difference between its $i$-th cumulative cost expense and the expected cost expenditures $Tc^{ub}_i$. We prove that the expected value of the regret vector of UCRL-CMDP, is upper-bounded as $ ilde{O}\left(T^{2\slash 3} ight)$, where $T$ is the time horizon. We further show how to reduce the regret of a desired subset of the $M$ costs, at the expense of increasing the regrets of rewards and the remaining costs. To the best of our knowledge, ours is the only work that considers non-episodic RL under average cost constraints, and derive algorithms that can~\emph{tune the regret vector} according to the agent's requirements on its cost regrets.

研究动机与目标

• 开发一种强化学习算法，以在未知 MDP 中同时最大化累积奖励并满足多个平均成本约束。
• 定义并分析一个包含奖励 regret 和 $M$ 个约束的个体成本 regret 的多维 regret 向量。
• 实现对 regret 向量的可调控制，允许优先考虑某些成本约束而非其他约束。
• 为非回合制、在线学习在约束 MDP 中的 regret 向量建立理论性能边界。
• 提供首个不可实现性结果，刻画在任何学习规则下无法实现的 regret 向量。

提出的方法

• 形式化定义了一个具有 $M$ 个平均成本约束和奖励目标的约束 MDP 框架，其中转移概率未知。
• 引入一种新颖的 $M+1$ 维 regret 向量，结合了奖励 regret 和 $M$ 个成本 regret，每个量度均相对于一个阈值衡量次优性。
• 提出 UCRL-CMDP，一种基于模型的强化学习算法，通过值函数的上置信度界和对偶变量估计来处理约束。
• 采用双时间尺度更新：快速更新用于值函数和策略估计，较慢更新用于对偶变量 $\tilde{\lambda}_t$，以估计最优拉格朗日乘子。
• 使用 $\epsilon_t = 1/t$ 的软探索策略，以确保充分探索的同时保持收敛性。
• 应用投影步骤 $[\cdot]^+$，以确保对偶变量估计 $\tilde{\lambda}_t$ 的非负性。

实验结果

研究问题

• RQ1 在未知 MDP 动力学下，强化学习算法是否能在奖励和多个成本约束上均实现次线性 regret？
• RQ2 如何对 regret 向量进行调节，以优先考虑某些成本约束而非其他约束，同时保持整体性能？
• RQ3 在任何学习规则下，约束 MDP 中可实现 regret 向量的根本限制是什么？
• RQ4 是否可能设计一种非回合制强化学习算法，能够同时平衡多个成本约束和奖励最大化？
• RQ5 此类约束强化学习框架的理论 regret 边界可以证明为何种形式？

主要发现

• UCRL-CMDP 的期望 regret 向量被上界限定为 $\tilde{O}(T^{2/3})$，为约束强化学习提供了重要的理论保证。
• 该算法支持权衡：可通过增加其他成本和奖励的 regret，来减少部分成本约束的 regret。
• 实验结果表明，UCRL-CMDP 在不同到达概率和延迟阈值下均实现了较低的奖励和成本 regret。
• 相比之下，Actor-Critic 基线方法尽管奖励 regret 较低，但成本 regret 极高，凸显了 UCRL-CMDP 在约束满足方面的优越性。
• 该算法在多种实验设置中均保持了稳定性能，包括不同系统参数（如到达分布和信道可靠性）的情形。
• 不可实现性结果刻画了在任何学习规则下均无法实现的 regret 向量集合，确立了该框架的理论极限。