[论文解读] Efficient Model-Based Reinforcement Learning through Optimistic Policy Search and Planning

Sebastian Curi, Felix Berkenkamp+1 more|arXiv (Cornell University)|Jun 15, 2020

Advanced Bandit Algorithms Research被引用 15

一句话总结

该论文提出H-UCRL，一种新型基于模型的强化学习算法，通过重新参数化模型空间以幻觉化地控制认知不确定性，实现高效的乐观探索。通过将这些幻觉输入引入输入空间，H-UCRL将乐观探索转化为贪婪规划，在使用高斯过程模型时实现了可证明的次线性遗憾，并在具有动作惩罚的高维控制任务中显著提升了样本效率。

ABSTRACT

Model-based reinforcement learning algorithms with probabilistic dynamical models are amongst the most data-efficient learning methods. This is often attributed to their ability to distinguish between epistemic and aleatoric uncertainty. However, while most algorithms distinguish these two uncertainties for learning the model, they ignore it when optimizing the policy, which leads to greedy and insufficient exploration. At the same time, there are no practical solvers for optimistic exploration algorithms. In this paper, we propose a practical optimistic exploration algorithm (H-UCRL). H-UCRL reparameterizes the set of plausible models and hallucinates control directly on the epistemic uncertainty. By augmenting the input space with the hallucinated inputs, H-UCRL can be solved using standard greedy planners. Furthermore, we analyze H-UCRL and construct a general regret bound for well-calibrated models, which is provably sublinear in the case of Gaussian Process models. Based on this theoretical foundation, we show how optimistic exploration can be easily combined with state-of-the-art reinforcement learning algorithms and different probabilistic models. Our experiments demonstrate that optimistic exploration significantly speeds-up learning when there are penalties on actions, a setting that is notoriously difficult for existing model-based reinforcement learning algorithms.

研究动机与目标

• 为解决基于模型强化学习中贪婪策略优化的局限性，该方法在认知不确定性下无法有效探索。
• 开发一种实用算法，实现在深层基于模型强化学习中的乐观探索，其中Thompson采样和后验采样不可行。
• 通过模型重参数化将乐观探索转化为贪婪利用，使标准规划器得以应用。
• 为校准良好的模型提供通用遗憾界，对高斯过程动力学模型证明了次线性遗憾。
• 通过实证验证，乐观探索在具有动作惩罚的复杂环境中可加速学习。

提出的方法

• H-UCRL使用均值-认知方差分解对模型空间进行重参数化，将认知不确定性表示为控制变量。
• 引入幻觉控制动作，直接操纵智能体对一步转移动态的不确定性。
• 增强的输入空间（包括幻觉输入）使标准贪婪规划器能够求解乐观规划问题。
• 该算法基于后验方差构建置信区间，确保在假设2下具有校准的不确定性估计。
• 理论分析推导出依赖于信息容量和领域增长的遗憾界，时间上呈对数缩放。
• 该方法兼容多种概率模型，包括高斯过程、神经网络集成和确定性模型。

实验结果

研究问题

• RQ1 在具有复杂概率模型的深层基于模型强化学习中，能否高效实现乐观探索？
• RQ2 能否通过模型重参数化将乐观探索转化为贪婪规划，同时不牺牲理论保证？
• RQ3 在良好校准的模型下，H-UCRL是否能实现次线性遗憾，特别是对高斯过程动力学？
• RQ4 在具有动作惩罚的环境中，H-UCRL与贪婪方法和基于Thompson采样的方法相比表现如何？
• RQ5 H-UCRL能否可靠解决因成本惩罚而阻碍探索的高维连续控制任务？

主要发现

• H-UCRL对高斯过程模型实现了可证明的次线性遗憾，遗憾界缩放为 $\mathcal{O}(\beta_{T-1}^{N}L_{\sigma}^{N}N^{2}\sqrt{T\,p\,\gamma_{pTN}(\mathbb{B}(\mathbf{s}_{0},b_{t})\times\mathcal{A}\times\mathcal{I}_{p})})$。
• GP模型的信息容量随时间对数增长，与固定领域相比仅增加一个对数因子。
• 实验表明，H-UCRL在动作惩罚逐渐增加的倒立摆摆动任务中成功完成训练，而贪婪和Thompson采样方法失败。
• 在高维连续控制任务中，H-UCRL优于贪婪和Thompson采样基线方法，尤其在探索受惩罚时表现更优。
• H-UCRL兼容多种模型，包括确定性模型、概率神经网络集成和高斯过程，展现出广泛适用性。
• 理论分析确认，具有有界预测方差和紧致状态空间的良好校准模型可确保有效的遗憾界。