[论文解读] The Importance of Pessimism in Fixed-Dataset Policy Optimization

Jacob Buckman, Carles Gelada+1 more|arXiv (Cornell University)|Sep 15, 2020

Advanced Bandit Algorithms Research参考文献 51被引用 23

一句话总结

本文为固定数据集策略优化（FDPO）中的悲观性建立了理论基础，表明悲观算法——通过选择最大化最坏情况回报的策略——即使在数据集不完整的情况下，也能实现强大的次优性保证。作者推导出一个后悔界，解释了为何朴素方法会因过估计误差而表现不佳，而悲观性通过降低对全局数据集信息量的依赖性来缓解这一问题，在MinAtar环境的表格型和深度强化学习实验中得到了验证。

ABSTRACT

We study worst-case guarantees on the expected return of fixed-dataset policy optimization algorithms. Our core contribution is a unified conceptual and mathematical framework for the study of algorithms in this regime. This analysis reveals that for naive approaches, the possibility of erroneous value overestimation leads to a difficult-to-satisfy requirement: in order to guarantee that we select a policy which is near-optimal, we may need the dataset to be informative of the value of every policy. To avoid this, algorithms can follow the pessimism principle, which states that we should choose the policy which acts optimally in the worst possible world. We show why pessimistic algorithms can achieve good performance even when the dataset is not informative of every policy, and derive families of algorithms which follow this principle. These theoretical findings are validated by experiments on a tabular gridworld, and deep learning experiments on four MinAtar environments.

研究动机与目标

• 为分析固定数据集策略优化（FDPO）中的最坏情况性能，提供一个统一的理论框架。
• 识别依赖最大似然估计与动态规划的朴素FDPO算法中价值过估计的根本问题。
• 证明悲观性原则是一种解决方案，可降低对全局信息丰富数据集的依赖。
• 推导出具有改进次优性保证的系统性悲观算法族。
• 通过在表格型网格世界和MinAtar环境中的深度强化学习实验，验证理论主张。

提出的方法

• 推导出优化代理目标的决策者的一般后悔界，表明次优性依赖于过估计误差的上确界。
• 将悲观性原则形式化为选择最大化最坏情况期望回报的策略，从而最小化过估计的影响。
• 表明悲观算法避免了对数据集需对所有策略都具有信息量的要求，而这是朴素方法所必需的。
• 基于理论边界，提出两类系统性悲观算法。
• 在深度学习设置中实现并评估一种悲观算法，使用MinAtar环境。
• 通过广泛的超参数调优和严谨的训练协议（包括每次目标更新后完全重新初始化网络）来确保稳定学习。

实验结果

研究问题

• RQ1 为何当数据集对所有策略都不具信息量时，朴素FDPO算法无法保证良好性能？
• RQ2 在代理目标中，价值过估计如何导致固定数据集强化学习中次优性表现变差？
• RQ3 悲观性原则在FDPO中如何降低对数据集全局信息量的依赖？
• RQ4 能否推导出一个理论边界，以解释悲观与非悲观FDPO算法之间的性能差距？
• RQ5 在悲观深度强化学习算法中，哪些实际训练考虑因素对稳定性能至关重要？

主要发现

• 使用最大似然估计与动态规划的朴素FDPO算法即使在无函数逼近的情况下，也因过估计误差而表现出高最坏情况次优性。
• 朴素算法的后悔界受过估计误差上确界的限制，这要求数据集具有全局信息量才能保证良好性能。
• 悲观算法通过聚焦于最坏情况价值估计，减少了过估计的影响，从而实现了更好的次优性保证。
• 理论边界表明，悲观性降低了对数据集全局信息量的依赖，使性能在数据稀疏时依然稳健。
• 在表格型网格世界的实验验证了理论预测，表明悲观算法在数据有限时优于朴素方法。
• 在MinAtar环境的深度强化学习中，严谨的训练协议——尤其是每次目标更新后完全重新初始化网络，以及足够的内层训练步数——对实现稳定且高性能的悲观学习至关重要。