[论文解读] Algorithmic Framework for Model-based Deep Reinforcement Learning with Theoretical Guarantees

Yuping Luo, Huazhe Xu+4 more|arXiv (Cornell University)|Jul 10, 2018

Reinforcement Learning in Robotics参考文献 74被引用 101

一句话总结

本文提出一个用于模型为基础的深度强化学习的元算法，通过优化对真实值的数据相关下界来保证对局部奖励最大值的单调改善，并引入 SLBO 作为一个可行的实现，具有很强的样本效率。

ABSTRACT

Model-based reinforcement learning (RL) is considered to be a promising approach to reduce the sample complexity that hinders model-free RL. However, the theoretical understanding of such methods has been rather limited. This paper introduces a novel algorithmic framework for designing and analyzing model-based RL algorithms with theoretical guarantees. We design a meta-algorithm with a theoretical guarantee of monotone improvement to a local maximum of the expected reward. The meta-algorithm iteratively builds a lower bound of the expected reward based on the estimated dynamical model and sample trajectories, and then maximizes the lower bound jointly over the policy and the model. The framework extends the optimism-in-face-of-uncertainty principle to non-linear dynamical models in a way that requires extit{no explicit} uncertainty quantification. Instantiating our framework with simplification gives a variant of model-based RL algorithms Stochastic Lower Bounds Optimization (SLBO). Experiments demonstrate that SLBO achieves state-of-the-art performance when only one million or fewer samples are permitted on a range of continuous control benchmark tasks.

研究动机与目标

• 为模型为基础的深度强化学习建立并发展具备保证的理论框架。
• 创建一个下界分析，将模型误差与价值提升联系起来，而无需显式的不确定性量化。
• 提供一个实践算法（SLBO），在连续控制任务上展示出强大的样本效率。
• 建立差异性界，指导 dynamics 模型与策略的联合优化。
• 探索基于 Lipschitz 的以及表示不变的差异性界，以提升鲁棒性与适用性。

提出的方法

• 对真实值下界进行定义：V^{π,M*} ≥ V^{π, M̂} − D^{π_ref, δ}(M̂, π).
• 设计满足以下条件的差异性界 D：在 M̂ = M* 时消失；可通过轨迹估计；并依赖于参考策略 π_ref。
• 提出一个元算法（Algorithm 1），交替优化（π, M̂）以最大化下界，同时约束策略与参考 π_ref 的距离。
• 引入并分析telescoping lemma，将模型预测误差与价值差异（G^{π,M̂}）联系起来。
• 以实用的界限和随机多步预测损失来对模型学习进行实例化。
• 将框架推导为 Stochastic Lower Bound Optimization (SLBO) 的简化、可实现变体：省略某些约束，使用多步预测损失训练模型。

实验结果

研究问题

• RQ1 如何在同时对策略与动力学进行优化时，为模型为基础的深度强化学习提供理论上的改进保证？
• RQ2 如何构造 D^{π_ref}(M̂, π)，以便从轨迹中估计并在模型准确时消失？
• RQ3 提出的框架是否能够将乐观（OFU）原理扩展到非线性、深度动力学模型且无需显式不确定性量化？
• RQ4 哪些有效的基于 Lipschitz 的以及表示不变的差异性界对实际学习和性能有何影响？
• RQ5 在连续控制基准任务中，SLBO 实例在样本效率方面的表现如何？

主要发现

• 开发出一个元算法，在合适的差异性界和可解的优化子问题条件下，确保 V^{π,M*} 的单调改善。
• 推导出可从轨迹估计并满足建模精度和邻域条件的差异性界，使 M̂ 与 π 的联合优化具有安全性。
• 一个 telescoping lemma 将模型引起的价值差分分解为单步贡献，从而支持理论保证。
• 提出一个表示不变的差异性界，提升对状态空间变换的鲁棒性。
• 实用的 SLBO 变体在若干连续控制任务上以 1M 次或更少样本达到了最先进的性能。
• 该工作在理论上区分了模型为基础的 RL 与无模型的策略梯度方法在误差放大与收敛行为方面的差异。