[论文解读] The Value Equivalence Principle for Model-Based Reinforcement Learning

Christopher Grimm|arXiv (Cornell University)|Nov 6, 2020

Reinforcement Learning in Robotics参考文献 42被引用 11

一句话总结

本文提出了价值等价原理，这是一种基于模型的强化学习框架，其核心在于优先考虑模型在价值规划中的准确性，而非精确的状态转移预测。通过定义：若模型在一组策略和价值函数下产生相同的贝尔曼更新，则视为等价，该方法使模型更简单、更高效，同时保持性能，且在理论和实证上均得到支持，例如 MuZero 和价值迭代网络等方法。

ABSTRACT

Learning models of the environment from data is often viewed as an essential component to building intelligent reinforcement learning (RL) agents. The common practice is to separate the learning of the model from its use, by constructing a model of the environment's dynamics that correctly predicts the observed state transitions. In this paper we argue that the limited representational resources of model-based RL agents are better used to build models that are directly useful for value-based planning. As our main contribution, we introduce the principle of value equivalence: two models are value equivalent with respect to a set of functions and policies if they yield the same Bellman updates. We propose a formulation of the model learning problem based on the value equivalence principle and analyze how the set of feasible solutions is impacted by the choice of policies and functions. Specifically, we show that, as we augment the set of policies and functions considered, the class of value equivalent models shrinks, until eventually collapsing to a single point corresponding to a model that perfectly describes the environment. In many problems, directly modelling state-to-state transitions may be both difficult and unnecessary. By leveraging the value-equivalence principle one may find simpler models without compromising performance, saving computation and memory. We illustrate the benefits of value-equivalent model learning with experiments comparing it against more traditional counterparts like maximum likelihood estimation. More generally, we argue that the principle of value equivalence underlies a number of recent empirical successes in RL, such as Value Iteration Networks, the Predictron, Value Prediction Networks, TreeQN, and MuZero, and provides a first theoretical underpinning of those results.

研究动机与目标

• 解决传统基于模型的强化学习中因试图完美预测状态转移而导致的效率低下与不准确问题。
• 提出一种新原则——价值等价，重新定义模型质量的标准，即其在价值规划中的实用性。
• 表明若模型能保持相关策略和价值函数的贝尔曼更新，则无需完整捕捉动力学细节。
• 证明该原则是近期成功强化学习架构（如 MuZero 和价值迭代网络）的内在基础。
• 为这类模型为何可更简单却性能相当提供理论基础。

提出的方法

• 将模型之间的价值等价定义为：在给定策略和价值函数集合下，产生相同的贝尔曼更新。
• 将模型学习表述为在价值等价模型空间上的优化问题，从而减少对完整动力学精度的需求。
• 使用一组代表性策略和价值函数来约束模型空间，随着更多策略和函数的引入，逐步缩小该空间。
• 证明随着策略和函数集合的扩大，价值等价模型的集合会收敛至唯一一个完美模型。
• 将该原则应用于设计比最大似然估计更简单、更高效的模型，尤其在表示能力受限时表现更优。
• 在 Catch、Four Rooms 和 Cart-pole 等环境中通过实证验证该方法，与标准模型学习方法进行对比。

实验结果

研究问题

• RQ1 若将注意力从精确的状态转移预测转向价值规划的实用性，是否能提升模型学习效果？
• RQ2 策略和价值函数的选择如何影响可行的价值等价模型集合？
• RQ3 在使用价值等价而非完整动力学建模时，模型复杂度与性能之间的权衡如何？
• RQ4 价值等价模型是否能在更少内存和计算资源下实现与传统基于模型的强化学习相当或更优的性能？
• RQ5 价值等价原理是否能为 MuZero、价值迭代网络等近期基于模型强化学习的成功提供统一的理论解释？

主要发现

• 价值等价模型在显著减少内存和计算需求的同时，可实现与完整动力学模型相当的性能。
• 随着策略和价值函数集合的增加，价值等价模型的类别逐渐缩小，最终收敛至唯一一个完美模型。
• 在表示能力受限的环境中，基于合适策略和函数基的值等价模型，其性能优于最大似然估计。
• 在 Catch、Four Rooms 和 Cart-pole 环境中的实验表明，价值等价模型学习方法在性能上可匹配或超越传统方法（如最大似然估计）。
• 价值等价原理为 MuZero、价值迭代网络和 TreeQN 等架构的成功提供了理论基础，这些架构隐式地利用了该原理。
• 只要模型保留了相关贝尔曼更新，即使未完整捕捉环境动力学，也能实现高效规划。