[论文解读] A Review of Uncertainty for Deep Reinforcement Learning

Owen Lockwood, Mei Si|arXiv (Cornell University)|Aug 18, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

本文综述了深度强化学习（DRL）中的不确定性估计技术，重点关注认知不确定性与偶然不确定性。通过引入蒙特卡洛丢弃、集成方法和自举头等技术，将不确定性意识整合到DRL智能体中，展示了在连续控制与离线强化学习基准任务中性能提升与数据效率增强的效果。

ABSTRACT

Uncertainty is ubiquitous in games, both in the agents playing games and often in the games themselves. Working with uncertainty is therefore an important component of successful deep reinforcement learning agents. While there has been substantial effort and progress in understanding and working with uncertainty for supervised learning, the body of literature for uncertainty aware deep reinforcement learning is less developed. While many of the same problems regarding uncertainty in neural networks for supervised learning remain for reinforcement learning, there are additional sources of uncertainty due to the nature of an interactable environment. In this work, we provide an overview motivating and presenting existing techniques in uncertainty aware deep reinforcement learning. These works show empirical benefits on a variety of reinforcement learning tasks. This work serves to help to centralize the disparate results and promote future research in this area.

研究动机与目标

• 整合并综合现有关于不确定性感知深度强化学习的研究。
• 识别并解释DRL中不确定性的主要来源，包括由环境动态与模型预测引发的认知不确定性与偶然不确定性。
• 证明不确定性感知方法可显著提升DRL在各类基准测试中的性能、数据效率与鲁棒性。
• 倡导在实际应用，尤其是现实世界与高风险场景中更广泛地采用不确定性估计技术。
• 指出当前开放挑战，如不确定性质量的评估方法，以及构建标准化不确定性估计基准的必要性。

提出的方法

• 将DRL中的不确定性分类为认知不确定性（模型不确定性）与偶然不确定性（数据/环境噪声），并将其与强化学习组件相联系。
• 综述了用于估计神经网络预测不确定性的方法，如蒙特卡洛丢弃、集成方法与自举头。
• 将不确定性估计应用于演员-评论家算法（如SAC、PPO）中的评论家，采用不确定性感知损失函数（如BIV，贝叶斯逆方差）。
• 将不确定性整合到基于值的方法（如DQN与QR-DQN）中，尽管指出这些方法在捕捉真实不确定性方面不如分布式方法有效。
• 提出评论家中的不确定性会传播至演员，因此评论家的不确定性估计对下游策略性能至关重要。
• 强调不确定性估计可逐步集成到现有DRL算法中，无需对网络架构进行整体重构。

实验结果

研究问题

• RQ1 在深度强化学习的背景下，如何有意义地定义并量化认知不确定性与偶然不确定性？
• RQ2 在价值网络与策略网络中，哪些是估计DRL智能体不确定性的最有效且高效的技术？
• RQ3 在DRL环境中，整合不确定性估计如何提升样本效率、探索能力与鲁棒性？
• RQ4 尽管演员负责决策，为何评论家中的不确定性估计比演员中更具影响力？
• RQ5 评估不确定性估计质量的主要挑战是什么？未来研究应如何应对这些问题？

主要发现

• 不确定性感知的DRL方法在困难探索任务与连续控制基准测试中表现更优，包括在离线强化学习中达到最先进性能。
• 如自举头与蒙特卡洛丢弃等技术可实现有效的不确定性估计，且仅需极少的架构改动，从而提升探索能力与鲁棒性。
• 在SAC等演员-评论家算法中，通过BIV等方法将不确定性引入评论家损失函数，可带来显著的性能提升。
• 尽管在实证中表现成功，标准DQN与QR-DQN中的不确定性估计仍是对真实不确定性的较差近似，凸显了基于值方法的局限性。
• 评论家不确定性向演员的传播意味着，准确的评论家不确定性估计对可靠策略学习至关重要。
• 有强有力的实证证据支持在DRL中采用不确定性估计，尤其是在现实世界部署中，不确定性量化可实现更安全、更可靠的决策。