[论文解读] Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory

Yufeng Zhang, Qi Cai+3 more|arXiv (Cornell University)|Jun 8, 2020

Reinforcement Learning in Robotics参考文献 71被引用 5

一句话总结

该论文证明，使用过参数化两层神经网络的时序差分（TD）和Q-learning方法，能够以亚线性速率全局最小化均方投影贝尔曼误差（MSPBE），同时学习到最优的、与数据相关的特征表示。通过在Wasserstein空间上的平均场分析，论文证明了特征表示从初始化开始演化至全局最优，其结果超越了神经正切核（NTK）范式，在该范式中表示始终保持不变。

ABSTRACT

Temporal-difference and Q-learning play a key role in deep reinforcement learning, where they are empowered by expressive nonlinear function approximators such as neural networks. At the core of their empirical successes is the learned feature representation, which embeds rich observations, e.g., images and texts, into the latent space that encodes semantic structures. Meanwhile, the evolution of such a feature representation is crucial to the convergence of temporal-difference and Q-learning. In particular, temporal-difference learning converges when the function approximator is linear in a feature representation, which is fixed throughout learning, and possibly diverges otherwise. We aim to answer the following questions: When the function approximator is a neural network, how does the associated feature representation evolve? If it converges, does it converge to the optimal one? We prove that, utilizing an overparameterized two-layer neural network, temporal-difference and Q-learning globally minimize the mean-squared projected Bellman error at a sublinear rate. Moreover, the associated feature representation converges to the optimal one, generalizing the previous analysis of Cai et al. (2019) in the neural tangent kernel regime, where the associated feature representation stabilizes at the initial one. The key to our analysis is a mean-field perspective, which connects the evolution of a finite-dimensional parameter to its limiting counterpart over an infinite-dimensional Wasserstein space. Our analysis generalizes to soft Q-learning, which is further connected to policy gradient.

研究动机与目标

• 理解在使用过参数化两层神经网络时，TD和Q-learning中特征表示的演化过程。
• 确定此类学习是否能全局收敛至最优解，尤其是在神经正切核（NTK）范式之外的情形。
• 分析在非线性函数逼近中所诱导特征表示的收敛速率与最优性。
• 将分析扩展至软Q-learning，并探讨其与策略梯度方法的联系。
• 构建一个平均场框架，将有限宽度神经网络的演化建模为Wasserstein空间上的流。

提出的方法

• 论文采用平均场视角，将神经网络参数建模为经验分布，并在无限宽度极限下收敛至总体分布。
• 通过学习算法的动力学推导出总体分布演化的连续性方程，刻画其在Wasserstein空间中的演化。
• 引入广义的一点单调性概念，用于分析总体分布演化所遵循的PDE方程。
• 利用Wasserstein空间中的第一变分公式，量化特征表示的收敛性。
• 使用集中不等式（例如，引理B.8和B.9）来界定有限宽度与无限宽度动力学之间的偏差。
• 将框架扩展至软Q-learning，通过与软Q-learning动力学的等价性，将其与策略梯度方法联系起来。

实验结果

研究问题

• RQ1 使用过参数化两层神经网络的TD和Q-learning能否全局最小化均方投影贝尔曼误差（MSPBE）？
• RQ2 此类网络所诱导的特征表示是否从初始化演化至全局最优表示，而非如NTK范式中保持不变？
• RQ3 在该平均场框架下，TD和Q-learning的收敛速率如何？
• RQ4 Wasserstein空间上的平均场分析如何支持非线性函数逼近中表示学习的研究？
• RQ5 该分析能否扩展至软Q-learning及其与策略梯度方法的联系？

主要发现

• 使用过参数化两层神经网络的TD和Q-learning，即使在特征表示从初始化开始演化的情况下，仍能以亚线性速率全局最小化MSPBE。
• 所诱导的特征表示收敛至全局最优，这推广了先前基于NTK的方法，后者中表示在初始化时固定不变。
• 平均场分析表明，总体分布通过Wasserstein空间中的连续性方程演化，从而支持对有限宽度网络的收敛性分析。
• 广义的一点单调性条件确保了PDE解的收敛性，经离散化后，可量化有限宽度网络特征表示的演化过程。
• 该框架可扩展至软Q-learning，表明其同样能全局最小化MSPBE，并通过与软Q-learning的等价性，与策略梯度方法建立联系。
• 该分析为深度强化学习中超越NTK范式（在此范式中表示被约束在初始化附近）的表示学习提供了理论基础。