[论文解读] Generalizing from a few environments in safety-critical reinforcement learning

Zachary Kenton, Angelos Filos+2 more|arXiv (Cornell University)|Jul 2, 2019

Reinforcement Learning in Robotics参考文献 34被引用 9

一句话总结

本文研究了在仅使用少量训练环境的情况下，深度强化学习中的安全泛化问题，提出使用集成方法和不确定性估计来减少在未见环境中的灾难性事件。研究发现，尽管在网格世界环境中，简单的集成平均方法可显著减少失败事件，但在更复杂的CoinRun环境中效果较弱；然而，集成价值函数的不确定性能够可靠预测即将发生的灾难，从而实现提前的人工干预。

ABSTRACT

Before deploying autonomous agents in the real world, we need to be confident they will perform safely in novel situations. Ideally, we would expose agents to a very wide range of situations during training, allowing them to learn about every possible danger, but this is often impractical. This paper investigates safety and generalization from a limited number of training environments in deep reinforcement learning (RL). We find RL algorithms can fail dangerously on unseen test environments even when performing perfectly on training environments. Firstly, in a gridworld setting, we show that catastrophes can be significantly reduced with simple modifications, including ensemble model averaging and the use of a blocking classifier. In the more challenging CoinRun environment we find similar methods do not significantly reduce catastrophes. However, we do find that the uncertainty information from the ensemble is useful for predicting whether a catastrophe will occur within a few steps and hence whether human intervention should be requested.

研究动机与目标

• 评估强化学习智能体在仅使用少量环境进行训练时，其安全性能在未见环境中的泛化能力。
• 探究模型集成与不确定性估计是否能显著减少在部署过程中发生灾难性失败。
• 确定集成智能体的预测不确定性是否可用于提前预警复杂环境（如CoinRun）中即将发生的灾难。
• 比较这些方法在简单网格世界与更复杂环境（如CoinRun）中的有效性。

提出的方法

• 在网格世界和CoinRun环境中，基于初始状态的分布训练DQN和PPO智能体，采用类似于监督学习的训练/测试划分。
• 应用模型集成与Dropout技术以提升泛化能力，并估计价值函数中的预测不确定性。
• 使用结合集成价值函数均值与标准差的判别函数，在时间窗口内预测灾难事件。
• 通过在1000个测试环境中使用ROC曲线与AUC分数评估预测性能，测试不同时间窗口与训练水平下的表现。
• 采用二分类设置，智能体基于不确定性信号预测在dt步内是否会发生灾难，并据此请求人工干预。
• 通过消融实验比较不同训练规模下，集成方法、单个智能体与随机基线的表现。

实验结果

研究问题

• RQ1 当仅在少数环境中进行训练时，深度强化学习智能体能否避免在未见环境中的危险行为？
• RQ2 集成方法与不确定性估计是否能显著减少在安全关键型强化学习中的灾难性失败？
• RQ3 价值函数集成的预测不确定性是否在复杂环境（如CoinRun）中对预测未来灾难具有实际帮助？
• RQ4 危险事件的时序延展性（如空中坠落）如何影响泛化与预测性能？
• RQ5 基于不确定性的信号是否能可靠地在灾难发生前触发人工干预？

主要发现

• 在网格世界中，集成模型平均与阻断分类器显著减少了灾难事件，即使仅使用10个训练环境。
• 在CoinRun环境中，标准的集成平均方法在减少灾难事件或提升成功率方面，并未显著优于单个PPO智能体。
• 集成价值函数的不确定性（标准差）能够有效预测未来灾难，当预测时间窗口较短（dt=1）且训练水平为10时，AUC分数超过0.8。
• 随着时间窗口增大（dt=10）或训练水平增加，预测性能下降，表明长时序危险泛化面临挑战。
• 基于集成的不确定性信号优于随机预测，能够有效实现对即将发生失败的早期预警。
• 结果表明，不确定性估计是实现现实强化学习部署中主动安全控制的可行机制。