[论文解读] Disentangling Epistemic and Aleatoric Uncertainty in Reinforcement Learning

Bertrand Charpentier, Ransalu Senanayake+2 more|arXiv (Cornell University)|Jun 3, 2022

Reinforcement Learning in Robotics被引用 9

一句话总结

本文提出一种框架，通过将监督学习中的不确定性方法——蒙特卡洛丢弃、集成、深度核学习和证据网络——适配到深度Q网络中，以在无模型强化学习中解耦偶然性不确定性和认知性不确定性。该方法在训练过程中提升了样本效率，增强了对扰动测试环境的泛化能力，并改善了分布外（OOD）检测性能。在CartPole、Acrobot和LunarLander环境中的实证验证表明，与原始DQN相比，该方法在性能上实现了稳定提升。

ABSTRACT

Characterizing aleatoric and epistemic uncertainty on the predicted rewards can help in building reliable reinforcement learning (RL) systems. Aleatoric uncertainty results from the irreducible environment stochasticity leading to inherently risky states and actions. Epistemic uncertainty results from the limited information accumulated during learning to make informed decisions. Characterizing aleatoric and epistemic uncertainty can be used to speed up learning in a training environment, improve generalization to similar testing environments, and flag unfamiliar behavior in anomalous testing environments. In this work, we introduce a framework for disentangling aleatoric and epistemic uncertainty in RL. (1) We first define four desiderata that capture the desired behavior for aleatoric and epistemic uncertainty estimation in RL at both training and testing time. (2) We then present four RL models inspired by supervised learning (i.e. Monte Carlo dropout, ensemble, deep kernel learning models, and evidential networks) to instantiate aleatoric and epistemic uncertainty. Finally, (3) we propose a practical evaluation method to evaluate uncertainty estimation in model-free RL based on detection of out-of-distribution environments and generalization to perturbed environments. We present theoretical and experimental evidence to validate that carefully equipping model-free RL agents with supervised learning uncertainty methods can fulfill our desiderata.

研究动机与目标

• 为真实世界应用中实现可靠、具备不确定性感知能力的强化学习智能体提供支持。
• 定义强化学习中不确定性估计的四项理想特性，以在训练和测试阶段平衡样本效率、泛化能力与分布外检测性能。
• 在最小化网络架构修改的前提下，将成熟的监督学习不确定性估计方法——蒙特卡洛丢弃、集成、深度核学习与证据网络——适配到无模型强化学习中。
• 提出一种基于分布外检测与领域偏移泛化能力的实用评估协议，用于验证强化学习中的不确定性估计性能。
• 证明解耦的不确定性估计可同时提升标准控制环境中学习效率与鲁棒性。

提出的方法

• 定义强化学习中不确定性估计的四项理想特性：在高偶然性不确定性下具备高样本效率，面对认知性不确定性时具备高泛化能力，以及具备强分布外检测性能。
• 将四种不确定性估计技术——蒙特卡洛丢弃、集成、深度核学习与证据网络——整合进深度Q网络，以同时估计偶然性与认知性不确定性。
• 在推理阶段采用采样策略：使用'采样-偶然性'策略估计偶然性不确定性，使用'采样-认知性'策略估计认知性不确定性，以指导探索与决策。
• 通过基于不确定性的动作选择实现不确定性感知的探索，采用ε-贪婪策略，其中认知性不确定性可激励智能体探索未探索过的区域。
• 使用分布外（OOD）检测的AUC-PR与对扰动环境的泛化能力作为评估指标，模拟领域偏移场景。
• 采用批量归一化与超参数调优以稳定训练过程，并提升各类方法的不确定性校准性能。

实验结果

研究问题

• RQ1 解耦的偶然性与认知性不确定性估计是否能提升DQN训练过程中的样本效率？
• RQ2 与原始DQN相比，不确定性感知的DQN智能体在扰动测试环境中的泛化能力是否更优？
• RQ3 从监督学习中适配而来的不确定性估计方法在强化学习设置中是否仍能保持可靠的分布外检测性能？
• RQ4 不同不确定性估计技术（如丢弃、集成、DKL、证据网络）在不确定性校准与强化学习性能方面表现如何比较？
• RQ5 不确定性解耦在未知或异常环境中的可靠行为支持方面，其作用程度如何？

主要发现

• 不确定性感知的DQN智能体在CartPole环境中显著提升了样本效率，训练过程中减少了任务失败次数。
• 在LunarLander环境中，不确定性感知模型表现出更稳定且更高的泛化性能，尤其在采用'采样-认知性'策略时表现更优。
• 所有四种不确定性方法（蒙特卡洛丢弃、集成、DKL、PostNet）在OOD检测中均优于原始DQN，AUC-PR得分表明其具备强大的异常检测能力。
• '采样-认知性'策略在泛化与OOD检测方面表现一致提升，表明认知性不确定性是探索未探索状态区域的强有力信号。
• 超参数研究显示，增加蒙特卡洛丢弃中的采样数量可略微提升OOD检测性能，而集成方法的性能对网络数量变化相对不敏感。
• 批量归一化显著提升了所有不确定性方法的稳定性与性能，尤其在深度核学习与证据网络中，通过将潜在表征对齐到诱导点或归一化流，实现了更优的校准效果。