[论文解读] Bellman-consistent Pessimism for Offline Reinforcement Learning

Tengyang Xie, Ching-An Cheng+3 more|arXiv (Cornell University)|Jun 13, 2021

Reinforcement Learning in Robotics参考文献 39被引用 16

一句话总结

本文提出了一种贝尔曼一致的悲观主义方法用于离线强化学习，其中悲观主义通过强制满足贝尔曼方程的值函数集合来实现，而非通过逐点奖励。在线性MDP中，该方法相比先前基于奖励的方法将样本复杂度提高了O(d)阶，并且无需超参数调优即可自动适应最优偏差-方差权衡。

ABSTRACT

The use of pessimism, when reasoning about datasets lacking exhaustive exploration has recently gained prominence in offline reinforcement learning. Despite the robustness it adds to the algorithm, overly pessimistic reasoning can be equally damaging in precluding the discovery of good policies, which is an issue for the popular bonus-based pessimism. In this paper, we introduce the notion of Bellman-consistent pessimism for general function approximation: instead of calculating a point-wise lower bound for the value function, we implement pessimism at the initial state over the set of functions consistent with the Bellman equations. Our theoretical guarantees only require Bellman closedness as standard in the exploratory setting, in which case bonus-based pessimism fails to provide guarantees. Even in the special case of linear function approximation where stronger expressivity assumptions hold, our result improves upon a recent bonus-based approach by $\mathcal{O}(d)$ in its sample complexity when the action space is finite. Remarkably, our algorithms automatically adapt to the best bias-variance tradeoff in the hindsight, whereas most prior approaches require tuning extra hyperparameters a priori.

研究动机与目标

• 为解决基于奖励的悲观主义在离线强化学习中的局限性，后者可能因泛化能力差而过度保守并降低性能。
• 开发一种与通用函数逼近兼容的、理论基础扎实的悲观主义机制，且无需对数据集提出覆盖性假设。
• 仅在贝尔曼闭包假设下提供强有力的理论保证，这是探索性设置中的标准假设，而基于奖励的方法在此处会失效。
• 与最先进的基于奖励的方法相比，在线性MDP中将样本复杂度提高O(d)阶，尤其在动作空间较小时表现更优。
• 设计一种实用算法，能够事后自适应最优偏差-方差权衡，从而消除对超参数预先调优的需求。

提出的方法

• 提出一种新颖的悲观主义原则，即悲观主义并非作用于单个值估计，而是作用于与贝尔曼方程一致的整个值函数集合。
• 采用信息论公式化方法，在数据集依赖的最坏情况MDP下，最小化相对于任意比较策略的遗憾。
• 通过拉格朗日松弛和软策略迭代，开发一种计算高效的变体，依赖于值函数类上的正则化损失最小化预言机。
• 推导出值函数更新的闭式解，该解推广了LSTDQ，并通过初始状态上的惩罚项引入悲观主义。
• 利用矩阵代数和基于SVD的证明，建立目标函数的黑塞矩阵为半正定，从而确保收敛性。
• 在正则化趋于无穷的极限下，将该方法与LSTDQ联系起来，表明当移除悲观主义时，其退化为标准LSTDQ。

实验结果

研究问题

• RQ1 能否将离线强化学习中的悲观主义重新定义为与贝尔曼方程一致，而非逐点作用于值估计？
• RQ2 贝尔曼一致的悲观主义是否在在线性MDP中相比基于奖励的方法具有更优的样本复杂度？
• RQ3 所提方法是否仅在贝尔曼闭包假设下即可提供理论保证，而无需覆盖性假设？
• RQ4 该算法是否能自动适应最优偏差-方差权衡，而无需手动调优超参数？
• RQ5 通过拉格朗日松弛实现的实用化方法在性能和稳定性上，与信息论公式化方法相比如何？

主要发现

• 信息论算法实现了与标准覆盖性假设下相同的遗憾界，但无需依赖这些假设。
• 在在线性MDP设置中，样本复杂度相比最佳已知的基于奖励的方法提高了O(d)阶。
• 基于拉格朗日松弛和软策略迭代的实用算法高效且可通过值函数类上的损失最小化预言机实现。
• 该方法能事后自动适应最优偏差-方差权衡，从而消除对超参数预先调优的需求。
• 闭式解推广了LSTDQ，并在移除悲观主义惩罚时退化为LSTDQ。
• 理论分析确认黑塞矩阵为半正定，从而确保优化过程的收敛性。