[论文解读] Confidence-Conditioned Value Functions for Offline Reinforcement Learning

Joey Hong, Aviral Kumar+1 more|arXiv (Cornell University)|Dec 8, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出置信度条件值学习（CCVL），一种离线强化学习方法，通过学习基于置信度水平的值函数，实现在评估过程中动态调整保守性。通过将Q值条件化于期望的置信度水平，CCVL使策略能够利用在线观测自适应调整其悲观程度，相较于CQL等静态保守方法，在Atari环境中显著提升了样本效率与最终性能。

ABSTRACT

Offline reinforcement learning (RL) promises the ability to learn effective policies solely using existing, static datasets, without any costly online interaction. To do so, offline RL methods must handle distributional shift between the dataset and the learned policy. The most common approach is to learn conservative, or lower-bound, value functions, which underestimate the return of out-of-distribution (OOD) actions. However, such methods exhibit one notable drawback: policies optimized on such value functions can only behave according to a fixed, possibly suboptimal, degree of conservatism. However, this can be alleviated if we instead are able to learn policies for varying degrees of conservatism at training time and devise a method to dynamically choose one of them during evaluation. To do so, in this work, we propose learning value functions that additionally condition on the degree of conservatism, which we dub confidence-conditioned value functions. We derive a new form of a Bellman backup that simultaneously learns Q-values for any degree of confidence with high probability. By conditioning on confidence, our value functions enable adaptive strategies during online evaluation by controlling for confidence level using the history of observations thus far. This approach can be implemented in practice by conditioning the Q-function from existing conservative algorithms on the confidence.We theoretically show that our learned value functions produce conservative estimates of the true value at any desired confidence. Finally, we empirically show that our algorithm outperforms existing conservative offline RL algorithms on multiple discrete control domains.

研究动机与目标

• 为解决现有保守性离线强化学习方法中固定保守性的局限性，这些方法依赖静态超参数来控制悲观程度。
• 在在线评估过程中，利用观测数据实现保守性的动态适应，而非依赖固定的离线调优。
• 开发一种实用且理论基础扎实的方法，用于学习在任意期望置信度水平下提供保守估计的值函数。
• 通过允许策略根据实时观测历史调整其风险容忍度，提升离线强化学习中的样本效率与最终性能。
• 扩展离线强化学习以支持在线微调，通过学习下界与上界值估计实现。

提出的方法

• 提出置信度条件值函数，将状态-动作对映射为依赖于置信度水平δ的Q值，δ表示该估计为真实回报下界的概率。
• 推导出一种新颖的贝尔曼备份，通过施加置信度感知的正则化目标，同时学习所有δ水平下的保守Q值。
• 通过参数共享和分布式强化学习风格的头架构，将Q网络条件化于δ，实现端到端训练。
• 在推理阶段根据在线观测历史动态调整置信度δ，使策略在证据表明存在过估计时降低悲观程度。
• 将框架扩展为同时学习下界与上界估计，支持通过改进探索实现在线微调。
• 采用类似CQL的保守Q学习正则化，确保所有置信度水平下均获得保守估计，而无需依赖反探索奖励。

实验结果

研究问题

• RQ1 离线强化学习策略能否基于观测数据在评估过程中动态调整其保守性水平，而非依赖固定超参数？
• RQ2 在离线强化学习中，学习基于置信度水平的值函数是否能优于固定保守性方法？
• RQ3 自适应置信度策略是否能在低数据场景下提升样本效率与最终性能？
• RQ4 所提出的方法在表格设置下是否具有理论合理性，确保在任意置信度水平下均提供保守估计？
• RQ5 置信度条件框架是否可扩展以支持在线微调并实现改进的探索？

主要发现

• 在Atari环境中，CCVL在三种数据规模（1%、5%、10%）下均优于CQL与REM，1%数据下最终归一化IQM达59.1，高于CQL的56.9。
• 在5%数据下，CCVL取得110.1的归一化IQM，显著优于CQL（105.7）与Fixed-CCVL（105.9），证明了自适应置信度的优势。
• 在在线微调中，CCVL在5个Atari游戏中有4个达到最高最终性能，Asterix游戏得分为159.5（CQL为52.7），显示出额外在线数据带来的显著提升。
• 消融实验确认，置信度条件化与置信度自适应均不可或缺：CCVL优于缺乏自适应控制的Fixed-CCVL与AEVL。
• CCVL在不同随机种子下表现稳健，95%自助置信区间显示其在低数据场景下对基线方法具有持续优势。
• 该方法通过学习下界与上界估计，有效支持在线微调，实现离线保守行为与在线乐观探索的结合。