[论文解读] A Review of Safe Reinforcement Learning: Methods, Theory and Applications

Shangding Gu, Long Yang+5 more|arXiv (Cornell University)|May 20, 2022

Safety Systems Engineering in Autonomy被引用 101

一句话总结

本文综述了安全强化学习，提出了 2H3W 框架（Safety Policy, Safety Complexity, Safety Applications, Safety Benchmarks, Safety Challenges），分析了基于模型和无模型的方法，并讨论了理论、基准和现实世界应用。

ABSTRACT

Reinforcement Learning (RL) has achieved tremendous success in many complex decision-making tasks. However, safety concerns are raised during deploying RL in real-world applications, leading to a growing demand for safe RL algorithms, such as in autonomous driving and robotics scenarios. While safe control has a long history, the study of safe RL algorithms is still in the early stages. To establish a good foundation for future safe RL research, in this paper, we provide a review of safe RL from the perspectives of methods, theories, and applications. Firstly, we review the progress of safe RL from five dimensions and come up with five crucial problems for safe RL being deployed in real-world applications, coined as "2H3W". Secondly, we analyze the algorithm and theory progress from the perspectives of answering the "2H3W" problems. Particularly, the sample complexity of safe RL algorithms is reviewed and discussed, followed by an introduction to the applications and benchmarks of safe RL algorithms. Finally, we open the discussion of the challenging problems in safe RL, hoping to inspire future research on this thread. To advance the study of safe RL algorithms, we release an open-sourced repository containing the implementations of major safe RL algorithms at the link: https://github.com/chauncygu/Safe-Reinforcement-Learning-Baselines.git.

研究动机与目标

• 在 RL 中定义安全概念并将其与现有定义联系起来。
• 识别五个核心的安全强化学习问题（2H3W）及其对实际部署的影响。
• 综述带理论与经验见解的安全模型基方法和无模型方法。
• 讨论安全基准、应用及挑战，以引导未来研究。
• 提供一个开放的基准套件和开源实现以支持该领域。

提出的方法

• 将安全强化学习建模为约束马尔可夫决策过程（CMDP）。
• 综述基于模型的安全强化学习方法（Lyapunov、MPC、高斯过程、形式方法）及其收敛性分析。
• 综述基于策略和基于值的安全无模型学习方法，包括 CPO 和原-对偶方法。
• 讨论在表格/线性和深度设置下，安全 RL 方法的样本复杂度与收敛性。
• 介绍安全基准（如 AI Safety Gridworlds、Safety Gym、Safe MAMuJoCo）以及用于安全性的成本/奖励函数设计。
• 在提供的 GitHub 仓库链接上提供一个开源基准套件和教程。

实验结果

研究问题

• RQ1 在不同的安全定义下，RL 中什么构成一个安全策略？
• RQ2 如何在理论保证下对 CMDP 安全的 RL 问题进行建模与求解？
• RQ3 在实际中，特别是对于深度高维问题，安全 RL 方法的样本复杂度是多少？
• RQ4 哪些基准能够在公平评价安全性表现的同时评估奖励优化？
• RQ5 在真实世界、多智能体和对抗性环境中，安全 RL 的主要挑战和待解决的问题是什么？

主要发现

• 本文提出 2H3W 框架，将安全 RL 研究围绕 Safety Policy、Safety Complexity、Safety Applications、Safety Benchmarks 和 Safety Challenges 来结构化。
• 它通过基于模型和无模型的方法分析安全 RL，包括基于 Lyapunov 的和基于高斯过程的方法，并讨论它们的收敛性。
• 它对基于 CMDP 的方法（原-对偶、CVaR、受约束策略优化）进行了综述与分类，并强调它们在安全保证和计算成本方面的权衡。
• 它回顾了若干现实应用（自动驾驶、机器人、视频压缩）以及多种安全基准（AI Safety Gridworlds、Safety Gym、Safe MAMuJoCo、Safe MARobosuite）。
• 作者发布了一个基准套件和开源实现，以促进安全 RL 研究的可重复性与进展。