[论文解读] Provably Safe PAC-MDP Exploration Using Analogies

Melrose Roderick, Vaishnavh Nagarajan+1 more|arXiv (Cornell University)|Jul 7, 2020

Reinforcement Learning in Robotics参考文献 31被引用 4

一句话总结

本文提出了一种称为相似安全状态探索（Analogous Safe-state Exploration, ASE）的可证明安全强化学习算法，适用于随机且未知的马尔可夫决策过程（MDPs）。通过利用状态-动作对之间的相似性以及一个安全初始集合，ASE 在探索过程中确保安全，同时以高概率实现 PAC-MDP 最优性，显著提升了相较于先前方法的样本效率。

ABSTRACT

A key challenge in applying reinforcement learning to safety-critical domains is understanding how to balance exploration (needed to attain good performance on the task) with safety (needed to avoid catastrophic failure). Although a growing line of work in reinforcement learning has investigated this area of "safe exploration," most existing techniques either 1) do not guarantee safety during the actual exploration process; and/or 2) limit the problem to a priori known and/or deterministic transition dynamics with strong smoothness assumptions. Addressing this gap, we propose Analogous Safe-state Exploration (ASE), an algorithm for provably safe exploration in MDPs with unknown, stochastic dynamics. Our method exploits analogies between state-action pairs to safely learn a near-optimal policy in a PAC-MDP sense. Additionally, ASE also guides exploration towards the most task-relevant states, which empirically results in significant improvements in terms of sample efficiency, when compared to existing methods.

研究动机与目标

• 解决在安全关键型强化学习应用中安全探索的挑战，即在训练过程中必须避免灾难性失败。
• 开发一种方法，确保在随机且未知环境中的探索过程始终安全，弥补现有安全强化学习方法的空白。
• 通过引导探索聚焦于与任务相关的、相似的状态-动作对，而非随机或无方向的探索，从而提升样本效率。
• 在保证整个训练轨迹安全的前提下实现 PAC-MDP 最优性，且以高概率实现。

提出的方法

• ASE 使用一组初始安全的状态-动作对，并利用相似性度量 Δ 来识别可能保持安全性的相似状态-动作对。
• 基于价值函数估计构建一个乐观策略，但仅在可通过已知安全转移的类比保证安全时才执行该策略。
• 算法维护对价值估计的置信区间，并使用阈值 τ/2 来判断基于类比的安全状态-动作对是否可以被标记为安全。
• ASE 通过探索能为乐观路径的安全性提供信息的状态-动作对，动态扩展安全集合，优先选择与目标导向策略相似的对。
• 采用一种有方向的探索策略，聚焦于从安全集合向目标的边，由类比状态函数 α 指导，该函数映射相似状态之间的转移。
• 通过将动作限制在估计的安全集合 Ẑ_safe 内，将现有探索算法（如 MBIE、R-Max、ε-greedy）修改为安全变体。

实验结果

研究问题

• RQ1 我们能否在未知动态的随机 MDP 中，不依赖于确定性或平滑性假设，保证探索过程的安全性？
• RQ2 如何通过聚焦于与任务相关的、相似的状态-动作对来提升安全强化学习中的样本效率？
• RQ3 是否可能在确保所有训练轨迹均以高概率保持安全的前提下，实现 PAC-MDP 最优性？
• RQ4 与无方向或非定向探索相比，基于类比的探索在安全性与样本效率方面表现如何？

主要发现

• ASE 以高概率同时保证了整个训练轨迹的安全性与 PAC-MDP 最优性，这是在随机环境中的一项新贡献。
• 实验结果表明，ASE 在样本效率方面显著优于基线的安全与非安全方法，尤其在复杂的 MDP（如离散平台跳跃游戏）中表现突出。
• 使用 ASE 的类比安全检查的 R-Max 安全变体在安全性和样本效率方面均优于标准 R-Max 和 ε-greedy 算法。
• 无方向的 ASE（即向所有方向探索）表现劣于有方向的 ASE，证明了通过类比实现目标导向探索的优势。
• ASE 避免使用基于高斯过程的不确定性建模，转而依赖类比与置信区间，从而能够处理环境固有的随机性。
• ASE 在安全性与学习速度方面均优于现有安全强化学习基线方法，尤其在稀疏奖励与高风险转移的环境中表现更优。