[论文解读] Calibrated Model-Based Deep Reinforcement Learning

Ali Malik, Volodymyr Kuleshov+4 more|arXiv (Cornell University)|Jun 19, 2019

Reinforcement Learning in Robotics被引用 23

一句话总结

本论文提出了一种简单的再校准技术，以提升基于模型的深度强化学习中预测不确定性的校准度，从而实现更可靠的规划与探索。通过将校准技术应用于任意基于模型的强化学习智能体（使用等渗回归或Platt缩放），该方法在HalfCheetah任务上实现了最先进性能，训练样本量较之前方法减少50%，显著提升了样本效率与规划准确性。

ABSTRACT

Estimates of predictive uncertainty are important for accurate model-based planning and reinforcement learning. However, predictive uncertainties---especially ones derived from modern deep learning systems---can be inaccurate and impose a bottleneck on performance. This paper explores which uncertainties are needed for model-based reinforcement learning and argues that good uncertainties must be calibrated, i.e. their probabilities should match empirical frequencies of predicted events. We describe a simple way to augment any model-based reinforcement learning agent with a calibrated model and show that doing so consistently improves planning, sample complexity, and exploration. On the extsc{HalfCheetah} MuJoCo task, our system achieves state-of-the-art performance using 50\% fewer samples than the current leading approach. Our findings suggest that calibration can improve the performance of model-based reinforcement learning with minimal computational and implementation overhead.

研究动机与目标

• 解决基于深度学习的基于模型强化学习智能体中不确定性校准不足的关键问题。
• 证明校准后的预测不确定性（即预测概率与实际频率匹配）可带来更优的规划与决策表现。
• 提出一种低复杂度方法，用于为现有基于模型的强化学习算法无缝集成校准的不确定性估计。
• 提升高风险强化学习环境（如机器人控制）中的样本效率、探索与利用平衡性以及鲁棒性。
• 在多种基准测试中验证该方法的有效性，包括连续控制、上下文Bandit问题以及库存管理。

提出的方法

• 将近期在不确定性校准方面的进展（如等渗回归、Platt缩放）应用于基于模型强化学习中的概率世界模型。
• 对学习到的动力学模型输出分布进行再校准，确保预测置信度与观测频率相匹配。
• 采用逐分量再校准处理因子化分布，实现对多维状态预测的高效校准。
• 将校准后的模型无缝集成到任意基于模型的规划算法（如PE-DS、SAC）中，无需修改核心规划或学习流程。
• 利用诊断工具与最佳实践评估校准质量，并指导实现过程。
• 先在环境轨迹上训练基础模型（如深度神经网络），再使用独立的验证集对预测输出进行再校准。

实验结果

研究问题

• RQ1 在基于模型的强化学习中对预测不确定性进行再校准，是否能提升规划性能与样本效率？
• RQ2 校准是否通过提供更准确的风险或新状态转移的置信度估计，从而增强探索能力？
• RQ3 在基于模型的强化学习中，不确定性校准与其它不确定性估计方法（如深度集成、贝叶斯神经网络）相比表现如何？
• RQ4 在对现有基于模型的智能体实现最小计算与实现开销的前提下，校准技术可扩展到何种程度？
• RQ5 校准是否能在包括连续控制与库存管理在内的多种强化学习基准中带来一致的性能提升？

主要发现

• 经校准的PE-DS智能体在MuJoCo HalfCheetah环境中实现了最先进性能，仅用180k个时间步即达到接近最优性能，较之前最优方法减少50%的样本量。
• 校准后的模型在早期训练阶段展现出更紧密且更准确的不确定性边界，CartPole环境中的可视化结果清晰显示了这一点。
• 校准模型在训练初期即实现更高的累积回报，表明校准与更优的基于模型规划及决策能力密切相关。
• 在所有评估环境（包括CartPole、Ant与HalfCheetah）中，校准后的PE-DS在样本效率方面均优于PE-DS与模型无关的SAC算法。
• 该方法通过减少对高风险或罕见状态转移的过度自信预测，持续改善了探索性能。
• 该方法计算开销极低，可作为后处理步骤应用于任意现有基于模型的强化学习算法。