[论文解读] Improving Safety in Reinforcement Learning Using Model-Based Architectures and Human Intervention

Bharat Prakash, Mohit Khatwani+2 more|arXiv (Cornell University)|Mar 22, 2019

Safety Systems Engineering in Autonomy被引用 12

一句话总结

该论文提出了一种混合模型-强化学习框架，结合模型预测控制（MPC）、通过模仿人类干预训练的阻断代理（blocker agent），以及无模型微调，以提升样本效率和安全性。与纯无模型方法相比，该方法将灾难性状态访问次数减少了5倍，并在显著减少人工监督的情况下实现了更高的任务性能。

ABSTRACT

Recent progress in AI and Reinforcement learning has shown great success in solving complex problems with high dimensional state spaces. However, most of these successes have been primarily in simulated environments where failure is of little or no consequence. Most real-world applications, however, require training solutions that are safe to operate as catastrophic failures are inadmissible especially when there is human interaction involved. Currently, Safe RL systems use human oversight during training and exploration in order to make sure the RL agent does not go into a catastrophic state. These methods require a large amount of human labor and it is very difficult to scale up. We present a hybrid method for reducing the human intervention time by combining model-based approaches and training a supervised learner to improve sample efficiency while also ensuring safety. We evaluate these methods on various grid-world environments using both standard and visual representations and show that our approach achieves better performance in terms of sample efficiency, number of catastrophic states reached as well as overall task performance compared to traditional model-free approaches.

研究动机与目标

• 解决现实世界强化学习中不可接受的灾难性失败问题，即探索过程中的不安全行为。
• 减少训练过程中对持续人工监督的依赖，以应对人工监督成本高且难以扩展的问题。
• 通过结合模型预测控制与人类模仿学习，提升安全强化学习中的样本效率。
• 实现在复杂环境中更快、更安全、更高效的强化学习智能体训练。

提出的方法

• 采用模型-基于方法学习环境动力学，并通过模型预测控制（MPC）生成高质量轨迹，用于策略初始化。
• 训练一个阻断代理作为监督学习器，模仿人类干预行为，以阻止可能导致灾难性状态的动作。
• 系统首先利用MPC运行200个回合，收集安全且高质量的数据，用于阻断代理的训练和策略初始化。
• 在模型-基于阶段结束后，智能体切换到无模型策略梯度训练，其初始策略基于MPC生成的轨迹进行引导。
• 阻断代理在模型-基于阶段收集的数据上进行训练，确保其干预行为具有更高品质。
• 该框架在网格世界和视觉导航环境中进行了评估，涵盖标准状态表示和视觉状态表示两种情形。

实验结果

研究问题

• RQ1 混合模型-基于与无模型强化学习框架是否能在减少人工干预时间的同时，维持或提升安全性与性能？
• RQ2 在模型-基于阶段使用MPC生成的轨迹，对阻断代理的质量和整体样本效率有何影响？
• RQ3 在模型-基于数据上训练的阻断代理，在防止灾难性状态方面，相较于在无模型数据上训练的代理，性能提升程度如何？
• RQ4 MPC与阻断代理的结合是否能实现比标准无模型强化学习更快的收敛速度和更高的任务性能？
• RQ5 所提出的框架是否可泛化至具有相同环境动力学和阻断代理的新任务？

主要发现

• 在4x4网格世界和岛屿导航环境中，与标准无模型策略梯度方法相比，该混合方法将灾难性状态数量减少了5倍。
• 系统在网格世界中达到最大任务奖励（45分），在岛屿导航环境中达到47分，而无模型基线方法未能达到最优性能。
• 使用阻断代理的训练过程实现了更快收敛，表明样本效率提升且探索过程更安全。
• 在模型-基于数据上训练的阻断代理性能优于在无模型数据上训练的代理，原因在于其示范数据质量更高。
• 与标准无模型方法相比，该方法在显著更短的训练时间内实现了稳定的策略学习，证明了样本效率的提升。
• 动力学模型和阻断代理与任务无关，可复用于具有相同环境动力学的新任务。