[论文解读] Exploration-Exploitation in Constrained MDPs

Yonathan Efroni, Shie Mannor+1 more|arXiv (Cornell University)|Mar 4, 2020

Reinforcement Learning in Robotics参考文献 45被引用 31

一句话总结

论文分析在受限的马尔可夫决策过程(CMDP)中的在线学习探索策略，证明在多种算法中对目标和约束违规都实现次线性后悔界，并且LP基方法的保障比基于对偶的方法更强。

ABSTRACT

In many sequential decision-making problems, the goal is to optimize a utility function while satisfying a set of constraints on different utilities. This learning problem is formalized through Constrained Markov Decision Processes (CMDPs). In this paper, we investigate the exploration-exploitation dilemma in CMDPs. While learning in an unknown CMDP, an agent should trade-off exploration to discover new information about the MDP, and exploitation of the current knowledge to maximize the reward while satisfying the constraints. While the agent will eventually learn a good or optimal policy, we do not want the agent to violate the constraints too often during the learning process. In this work, we analyze two approaches for learning in CMDPs. The first approach leverages the linear formulation of CMDP to perform optimistic planning at each episode. The second approach leverages the dual formulation (or saddle-point formulation) of CMDP to perform incremental, optimistic updates of the primal and dual variables. We show that both achieves sublinear regret w.r.t.\ the main utility while having a sublinear regret on the constraint violations. That being said, we highlight a crucial difference between the two approaches; the linear programming approach results in stronger guarantees than in the dual formulation based approach.

研究动机与目标

• 在长远约束塑造可行策略的 CMDP 中激发学习。
• 开发并分析在探索与约束满足之间取得平衡的算法。
• 为目标性能和约束违规提供后悔界（regret）的保证。
• 在受限设置下比较 LP-based 的乐观规划与基于对偶的方法。

提出的方法

• 通过扩展的占据测度线性规划，将UCRL2风格的乐观规划扩展到CMDP。
• 引入 OptCMDP，构建可信 CMDP 并进行乐观规划。
• 开发 OptCMDP-bonus，将不确定性合并到探索奖励中，并求解一个单一的 CMDP。使用乐观对偶方法（以及原对偶方法）(OptDual-CMDP, OptPrimalDual-CMDP)，结合拉格朗日/镜像下降更新。
• 为每种方法的目标和约束违规提供次线性后悔界。
• 利用转移概率和成本的置信区间，使用 Bernstein/Hoeffding 上界来构建乐观的 CMDP。

实验结果

研究问题

• RQ1 在未知 CMDP 中，代理应如何在满足长期约束的同时进行探索？
• RQ2 不同 CMDP 学习策略的后悔保证是什么（包括目标与约束违规）？
• RQ3 在 CMDP 中，LP-based 乐观规划与基于对偶的方法在理论保证方面的比较如何？
• RQ4 探索奖励或对偶更新是否能在计算上高效且带有可证明的安全性地学习 CMDP？

主要发现

• OptCMDP 在最优性和约束违规方面都实现了次线性后悔：Reg_+(K,c) 和 Reg_+(K,d) 的上界为 tilde-O(sqrt(S N H^4 K))。
• OptCMDP-bonus 在计算更高效的单 CMDP 求解下，达到与 OptCMDP 相同的次线性后悔阶。
• OptDual-CMDP 给出依赖于问题参数和拉格朗日乘子半径 ρ 的后悔界，约束后悔带有 (1+1/ρ) 的因子。
• OptPrimalDual-CMDP 提供类似的次线性后悔保证，并附带额外的 I 和 H 相关项。
• 表1总结了每种算法的后悔保证，显示 LP-based 方法通常比基于对偶的方法具有更强的保障。