[论文解读] EMaQ: Expected-Max Q-Learning Operator for Simple Yet Effective Offline and Online RL

Seyed Kamyar Seyed Ghasemipour, Dale Schuurmans+1 more|arXiv (Cornell University)|Jul 21, 2020

Reinforcement Learning in Robotics参考文献 39被引用 7

一句话总结

EMaQ 提出了一种新型的期望-最大 Q-学习算子，通过显式建模行为策略的支持集、样本数量和提议分布，提升了离线和在线强化学习的性能。它在 D4RL 基准上实现了最先进水平的表现，并在在线 RL 中与 SAC 方法表现相当，同时通过一个理论基础坚实、直观的备份机制，为先前方法提供了一种更简单、更稳定的替代方案。

ABSTRACT

Off-policy reinforcement learning holds the promise of sample-efficient learning of decision-making policies by leveraging past experience. However, in the offline RL setting -- where a fixed collection of interactions are provided and no further interactions are allowed -- it has been shown that standard off-policy RL methods can significantly underperform. Recently proposed methods often aim to address this shortcoming by constraining learned policies to remain close to the given dataset of interactions. In this work, we closely investigate an important simplification of BCQ -- a prior approach for offline RL -- which removes a heuristic design choice and naturally restricts extracted policies to remain exactly within the support of a given behavior policy. Importantly, in contrast to their original theoretical considerations, we derive this simplified algorithm through the introduction of a novel backup operator, Expected-Max Q-Learning (EMaQ), which is more closely related to the resulting practical algorithm. Specifically, in addition to the distribution support, EMaQ explicitly considers the number of samples and the proposal distribution, allowing us to derive new sub-optimality bounds which can serve as a novel measure of complexity for offline RL problems. In the offline RL setting -- the main focus of this work -- EMaQ matches and outperforms prior state-of-the-art in the D4RL benchmarks. In the online RL setting, we demonstrate that EMaQ is competitive with Soft Actor Critic. The key contributions of our empirical findings are demonstrating the importance of careful generative model design for estimating behavior policies, and an intuitive notion of complexity for offline RL problems. With its simple interpretation and fewer moving parts, such as no explicit function approximator representing the policy, EMaQ serves as a strong yet easy to implement baseline for future work.

研究动机与目标

• 解决离线设置中策略偏离数据集分布时导致的离策略强化学习性能下降问题。
• 消除先前离线 RL 方法（如 BCQ）中的启发式设计选择，特别是通过扰动约束动作的策略。
• 推导出一种有原则的备份算子，自然地将策略限制在行为策略的支持集中。
• 基于样本数量和提议分布，提出一种离线 RL 中的新复杂度概念，从而实现更紧的次优性界。

提出的方法

• 提出期望-最大 Q-学习（EMaQ）算子，用行为策略中采样 N 个动作的加权平均，替代标准 Q-学习中的最大值或期望操作。
• 权重由经过温度参数缩放的 Q-值的 softmax 得到，有效在 Q-评估与 Q-学习之间插值。
• 该方法显式结合了样本数量 N 和提议分布 μ(a′|s′)，从而实现更准确、更稳定的备份。
• 避免显式策略函数近似，相比 BCQ 或 BEAR 等方法，显著降低了模型复杂度与训练开销。
• 算法使用生成模型采样动作，并对这些样本的 Q-值计算加权平均（softmax 加权）。
• 实践中，EMaQ 仅需行为策略估计和 Q-函数，因此比先前方法更简单、更高效。

实验结果

研究问题

• RQ1 一种简化版的 BCQ（去除启发式动作扰动）是否仍能在离线 RL 中实现优异性能？
• RQ2 显式建模行为策略的支持集、样本数量和提议分布，对学习稳定性与性能有何影响？
• RQ3 像 EMaQ 这类新型备份算子能否带来更紧的次优性界，并引入离线 RL 中的新复杂度度量？
• RQ4 EMaQ 是否在标准离线 RL 基准（如 D4RL）上优于当前最先进方法？
• RQ5 在样本效率与最终性能方面，EMaQ 与在线 RL 算法（如 SAC）相比表现如何？

主要发现

• 在 D4RL 离线 RL 基准的多个环境中，EMaQ 的性能与先前最先进方法持平或超越。
• 在 Halfcheetah 环境中，EMaQ 在如 antmaze-umaze 等具有挑战性的设置下，优于 BCQ 和 BEAR，且训练曲线更稳定。
• 与 BCQ 相比，EMaQ 展现出更优的训练稳定性，后者常在初始提升后性能下降，尤其在稀疏奖励环境中更为明显。
• 软性 EMaQ 变体（温度 α 逐渐增大）可逼近 EMaQ 性能，但需较大 α 值并引入额外超参数，实用性较低。
• EMaQ 的性能对行为策略模型质量高度敏感，凸显了生成模型设计的重要性。
• 尽管结构简单，EMaQ 在在线 RL 中仍能与 SAC 算法竞争，并在部署高效场景下表现更优。