[论文解读] DOPE: Doubly Optimistic and Pessimistic Exploration for Safe Reinforcement Learning

Archana Bura, Aria HasanzadeZonuzy+3 more|arXiv (Cornell University)|Dec 1, 2021

Adversarial Robustness in Machine Learning被引用 9

一句话总结

该论文提出 DOPE，一种基于模型的安全强化学习算法，适用于具有未知动态特性的有限时域约束马尔可夫决策过程（CMDPs）。通过结合乐观奖励奖励与悲观约束处理，并引入安全基线策略，DOPE 在学习过程中未违反安全约束的前提下，实现了 $\tilde{O}(|\mathcal{S}|\sqrt{|\mathcal{A}|K})$ 的目标遗憾，实证性能优于以往的乐观-悲观方法。

ABSTRACT

Safe reinforcement learning is extremely challenging--not only must the agent explore an unknown environment, it must do so while ensuring no safety constraint violations. We formulate this safe reinforcement learning (RL) problem using the framework of a finite-horizon Constrained Markov Decision Process (CMDP) with an unknown transition probability function, where we model the safety requirements as constraints on the expected cumulative costs that must be satisfied during all episodes of learning. We propose a model-based safe RL algorithm that we call Doubly Optimistic and Pessimistic Exploration (DOPE), and show that it achieves an objective regret $ ilde{O}(|\mathcal{S}|\sqrt{|\mathcal{A}| K})$ without violating the safety constraints during learning, where $|\mathcal{S}|$ is the number of states, $|\mathcal{A}|$ is the number of actions, and $K$ is the number of learning episodes. Our key idea is to combine a reward bonus for exploration (optimism) with a conservative constraint (pessimism), in addition to the standard optimistic model-based exploration. DOPE is not only able to improve the objective regret bound, but also shows a significant empirical performance improvement as compared to earlier optimism-pessimism approaches.

研究动机与目标

• 开发一种针对约束马尔可夫决策过程的安全探索算法，确保在学习和部署过程中安全约束均不被违反。
• 解决在未知环境中平衡探索以学习与严格遵守安全约束之间的挑战。
• 在保证学习阶段无约束违规的前提下，实现低目标遗憾。
• 通过结合基于模型的乐观性与约束的悲观性，以及引入安全基线策略，改进现有的乐观-悲观方法。
• 通过实证验证，该算法实现了次线性遗憾并保持了安全性，而以往方法则存在高约束违规或遗憾性能差的问题。

提出的方法

• 该算法采用基于模型的方法，从收集的轨迹中估计转移核，并在经验模型周围维护置信区间。
• 通过在奖励函数中添加奖励奖金，实现乐观性，以鼓励探索低采样状态-动作对。
• 通过惩罚可能违反安全约束的策略，实现约束的悲观性，确保选择保守的策略。
• 采用一个安全基线策略 $π_b$，其被保证满足约束，并在达到阈值 $K_0$ 之前被使用。
• 在每个轨迹 $k$ 中，通过求解一个线性规划问题来计算策略，以在满足悲观约束边界的前提下最大化乐观奖励。
• 该方法将这些组件整合为统一框架，以高概率确保低遗憾与零约束违规。

实验结果

研究问题

• RQ1 基于模型的强化学习算法是否能在 CMDP 设置下实现次线性目标遗憾，且在学习过程中不违反安全约束？
• RQ2 将奖励的乐观性与约束的悲观性相结合，相较于以往方法，如何提升遗憾与安全性能？
• RQ3 使用安全基线策略对算法的收敛性与遗憾行为有何影响？
• RQ4 为何 OptPessLP 算法在理论上具有遗憾保证，但实证性能却表现不佳？DOPE 是否能克服此问题？
• RQ5 DOPE 的性能对基线策略 $π_b$ 的选择有多敏感？

主要发现

• DOPE 实现了 $\tilde{O}(|\mathcal{S}|\sqrt{|\mathcal{A}|K})$ 的目标遗憾，与理论边界一致，并在整个学习过程中保持零约束遗憾。
• 在库存控制环境中，DOPE 的目标遗憾在 $K_0$ 条轨迹后由线性增长转变为 $\tilde{O}(\mathcal{S}\sqrt{K})$ 增长，证实了理论分析。
• DOPE 完全避免了所有约束违规，而 OptCMDP 则出现了次线性约束遗憾，表明其在学习过程中存在违规。
• OptPessLP 表现出较差的实证性能，持续存在线性遗憾，表明其过高的悲观性严重阻碍了探索。
• 基线策略 $π_b$ 的选择对性能有中等影响，但 DOPE 在不同 $π_b$ 选择下仍保持鲁棒性。