[论文解读] Maxmin Q-learning: Controlling the Estimation Bias of Q-learning

Qingfeng Lan, Yangchen Pan+2 more|arXiv (Cornell University)|Feb 16, 2020

Reinforcement Learning in Robotics参考文献 13被引用 38

一句话总结

Maxmin Q-learning 将 Q-learning 泛化，通过在自举目标中使用 N 个动作价值估计器的最小值来灵活控制估计偏差和方差，具有收敛保证和经验验证。

ABSTRACT

Q-learning suffers from overestimation bias, because it approximates the maximum action value using the maximum estimated action value. Algorithms have been proposed to reduce overestimation bias, but we lack an understanding of how bias interacts with performance, and the extent to which existing algorithms mitigate bias. In this paper, we 1) highlight that the effect of overestimation bias on learning efficiency is environment-dependent; 2) propose a generalization of Q-learning, called \emph{Maxmin Q-learning}, which provides a parameter to flexibly control bias; 3) show theoretically that there exists a parameter choice for Maxmin Q-learning that leads to unbiased estimation with a lower approximation variance than Q-learning; and 4) prove the convergence of our algorithm in the tabular case, as well as convergence of several previous Q-learning variants, using a novel Generalized Q-learning framework. We empirically verify that our algorithm better controls estimation bias in toy environments, and that it achieves superior performance on several benchmark problems.

研究动机与目标

• 激发对 Q-learning 中估计偏差及其对学习效率的环境依赖影响的研究。
• 介绍 Maxmin Q-learning 作为一种泛化形式，可以通过估计器数量 N 调整偏差和方差。
• 提供理论分析：在适当的 N 下实现无偏估计并降低方差。
• 在广义 Q-learning 框架下证明 Maxmin Q-learning 在表格设置中的收敛性。
• 在 toy 环境和基准问题中实证验证偏差控制和性能。

提出的方法

• 为每个状态-动作对维护 N 个动作-价值估计 Q^1, ..., Q^N。
• 在自举目标中使用 N 个估计的最小值：max_a' min_i Q^i(s', a').
• 在每一步使用回放缓冲区和小批量样本更新一组随机选择的估计器。
• 可选地通过为每个估计器维护一个目标来在 Maxmin DQN 中引入目标网络。
• 给出理论结果：E[Z_MN]（偏差）随 N 增大而减小，Var[Q_sa^min] 也随 N 增大而减小。
• 将 Maxmin Q-learning 作为 Generalized Q-learning 的一个特例，其中 G(Q) = max_a min_i Q^i_sa。

实验结果

研究问题

• RQ1 在不同环境中，Q-learning 的过估偏差如何影响学习效率？
• RQ2 是否有一种灵活的偏差控制机制能够同时降低自举目标的偏差和方差？
• RQ3 在 Maxmin Q-learning 中，估计器数量 N 与估计偏差/方差之间的理论关系是什么？
• RQ4 Maxmin Q-learning 在表格设置中是否收敛，是否能够在广义 Q-learning 框架下推广到其他 Q-learning 变体？
• RQ5 与现有的偏差降低方法相比，Maxmin Q-learning 在深度强化学习基准中的实际效果如何？

主要发现

• 随着 N 的增加，Maxmin Q-learning 降低过度估计偏差；对较大 N 也可能引入低估偏差。
• Var[Q_sa^min] 随 N 降低，在某些条件下，当 N≥8 时，其方差甚至低于使用所有数据的单一估计器的方差。
• 存在一个 N，使近似无偏估计且近似方差低于标准 Q-learning。
• Maxmin Q-learning 在表格设置内的广义 Q-learning 框架中收敛。
• 实证结果表明，Maxmin Q-learning 在 toy 环境中稳健控制估计偏差，在若干基准测试中取得更好表现。