[论文解读] A Kernel Loss for Solving the Bellman Equation

Yihao Feng, Lihong Li+1 more|arXiv (Cornell University)|May 25, 2019

Reinforcement Learning in Robotics被引用 26

一句话总结

本文提出了一种基于核函数的新型损失函数，用于在强化学习中求解贝尔曼方程，通过基于梯度的优化实现稳定且收敛的值函数学习。与以往方法不同，该方法避免了双重采样问题，并在在线和离线策略设置下均能与神经网络可靠配合，在标准算法发散的基准测试中展现出更优的收敛性和准确性。

ABSTRACT

Value function learning plays a central role in many state-of-the-art reinforcement-learning algorithms. Many popular algorithms like Q-learning do not optimize any objective function, but are fixed-point iterations of some variant of Bellman operator that is not necessarily a contraction. As a result, they may easily lose convergence guarantees, as can be observed in practice. In this paper, we propose a novel loss function, which can be optimized using standard gradient-based methods without risking divergence. The key advantage is that its gradient can be easily approximated using sampled transitions, avoiding the need for double samples required by prior algorithms like residual gradient. Our approach may be combined with general function classes such as neural networks, on either on- or off-policy data, and is shown to work reliably and effectively in several benchmarks.

研究动机与目标

• 解决依赖非收缩贝尔曼算子的深度强化学习算法中存在的不稳定性和缺乏收敛性保证的问题。
• 开发一种可微的、基于优化的值函数学习目标，避免残差梯度方法中固有的双重采样问题。
• 在在线策略和离线策略设置下，实现与非线性函数逼近器（如神经网络）的稳定训练。
• 提供一种实用且可扩展的替代方案，以替代复杂的极小极大公式（如SBEED），同时保持理论上的收敛性保证。
• 通过用更可靠的值函数学习机制替代如TD(0)或FVI等不稳定的组件，改进策略评估与优化。

提出的方法

• 基于积分严格正定核函数提出一种核损失函数，确保损失在真实值函数处具有唯一的全局最小值。
• 推导出可利用单一样本转移高效估计的损失梯度，避免残差梯度方法所需的双重采样。
• 采用标准随机梯度下降最小化经验核损失，在较弱假设下实现收敛。
• 使用再生核希尔伯特空间（RKHS）框架定义值函数类，实现灵活的函数逼近。
• 将核损失应用于策略评估与策略优化，将其集成到现有框架（如Trust-PCL）中。
• 采用核技巧高效计算梯度，而无需在高维空间中显式表示值函数。

实验结果

研究问题

• RQ1 能否设计一种可微的损失函数，使得最小化该损失可得到贝尔曼方程的真实解，即使在使用非线性函数逼近时亦成立？
• RQ2 该损失能否仅通过单一样本转移高效估计，从而避免残差梯度方法中的双重采样问题？
• RQ3 所提出的核损失是否能确保值函数学习的收敛性与稳定性，特别是在TD(0)或FVI发散的情况下？
• RQ4 在收敛速度和最终解的准确性方面，核损失与现有方法（如残差梯度、SBEED或GTD2）相比表现如何？
• RQ5 核损失能否有效集成到策略优化算法中，以提升样本效率与学习稳定性？

主要发现

• 在修改后的Tsitsiklis & Van Roy（1997）MDP示例中，所提出的核损失收敛至真实值函数，而FVI和TD(0)发散，残差梯度收敛至次优解。
• 在Puddle World环境中，核损失在均方误差（MSE）和贝尔曼误差上均优于残差梯度、FVI、非线性GTD2和SBEED，且训练过程稳定。
• 在CartPole和Mountain Car任务中，核损失方法在MSE和贝尔曼误差指标上均优于所有基线方法，表现出一致的改进。
• 当集成到Trust-PCL用于策略优化时，核损失在Mujoco环境（Swimmer、InvertedDoublePendulum、Ant、InvertedPendulum）中实现了更高的平均回报，且所需数据样本更少。
• 核损失与MSE和贝尔曼误差具有良好的相关性，表明其可作为值函数准确性的可靠代理，而残差梯度中使用的L2损失则不具备此特性。
• 该方法在离线策略设置下具有鲁棒性，能有效与神经网络函数逼近器配合，展现出标准算法失效时的实际稳定性。