[论文解读] Model-Based Value Estimation for Efficient Model-Free Reinforcement Learning

Vladimir Feinberg, Alvin Wan+4 more|arXiv (Cornell University)|Feb 28, 2018

Reinforcement Learning in Robotics参考文献 14被引用 168

一句话总结

本文提出基于模型的价值扩展（MVE），一种混合方法，使用学习的动力学模型进行短期想象以改进价值估计并加速模型无关强化学习的学习，结合 TD-k 技巧以缓解分布不匹配。

ABSTRACT

Recent model-free reinforcement learning algorithms have proposed incorporating learned dynamics models as a source of additional data with the intention of reducing sample complexity. Such methods hold the promise of incorporating imagined data coupled with a notion of model uncertainty to accelerate the learning of continuous control tasks. Unfortunately, they rely on heuristics that limit usage of the dynamics model. We present model-based value expansion, which controls for uncertainty in the model by only allowing imagination to fixed depth. By enabling wider use of learned dynamics models within a model-free reinforcement learning algorithm, we improve value estimation, which, in turn, reduces the sample complexity of learning.

研究动机与目标

• 通过利用学习的动力学模型来降低模型无关强化学习的样本复杂度。
• 通过短期基于模型的滚动提升价值估计的准确性。
• 提供一个实用的、非可微分的、与模型兼容的连续控制框架。
• 处理在使用想象数据时的分布不匹配并提出修正方法。
• 证明受限、有明确时域 horizon 的模型使用能够超过纯模型无关和先前的 MB-MF 混合方法。

提出的方法

• 定义 H 步模型价值扩展（V̂_H），对前 H 步的想象奖励求和，在第 H 步使用一个尾部价值 V̂。
• 假设一个近似的动力学模型 f̂，用于在策略 π 下模拟未来状态和奖励。
• 将价值估计分解为近端的基于模型的分量和远端的模型无关尾部，以避免对模型的过度依赖。
• 通过构造近似于 f^π 固定点的训练分布并应用 TD-k 策略，提出一个分布不匹配的修正。
• 将 MVE 集成到深度行为者-评估者框架（类似 DDPG），其中评估目标使用 MVE 改进的估计，转移从一个固定分布 ν 中采样。
• 允许非可微分的动力学，使用前向预测而不要求模型可微。

实验结果

研究问题

• RQ1 MVE 是否在连续控制任务中提高 Q^π 的估计准确性？
• RQ2 在不依赖可微分动力学的前提下，短期基于模型的滚动能否降低模型无关 RL 的样本复杂度？
• RQ3 当使用想象数据时，TD-k 技巧如何影响训练稳定性和性能？
• RQ4 在为评估学习使用想象状态时，训练数据分布不匹配有何影响？

主要发现

• MVE 在稠密奖励的连续控制任务中提升价值估计质量并加速学习。
• TD-k 技巧缓解分布不匹配问题，使更大的模型时域带来收益。
• 与想象缓存基线相比，结合小心的时域和 TD-k 设计的 MVE 在实验中优于它们。
• MVE 提供改进的 Q 值和更快的掌握速度，且模型部分仅限于较短的时域以平衡准确性与鲁棒性。