[论文解读] Learning to Sample with Local and Global Contexts in Experience Replay Buffer

Youngmin Oh, Kimin Lee+3 more|arXiv (Cornell University)|Jul 14, 2020

Reinforcement Learning in Robotics被引用 6

一句话总结

本文提出神经经验回放缓冲采样器（NERS），一种基于学习的采样方法，通过联合建模局部（单个转移特征）和全局（所有转移的上下文）上下文来计算相对重要性，从而在离策略强化学习中提升样本效率。NERS 使用排列等变神经网络选择多样且有意义的转移，显著提升了多种离策略强化学习算法在连续控制和离散控制基准测试中的性能。

ABSTRACT

Experience replay, which enables the agents to remember and reuse experience from the past, has played a significant role in the success of off-policy reinforcement learning (RL). To utilize the experience replay efficiently, the existing sampling methods allow selecting out more meaningful experiences by imposing priorities on them based on certain metrics (e.g. TD-error). However, they may result in sampling highly biased, redundant transitions since they compute the sampling rate for each transition independently, without consideration of its importance in relation to other transitions. In this paper, we aim to address the issue by proposing a new learning-based sampling method that can compute the relative importance of transition. To this end, we design a novel permutation-equivariant neural architecture that takes contexts from not only features of each transition (local) but also those of others (global) as inputs. We validate our framework, which we refer to as Neural Experience Replay Sampler (NERS), on multiple benchmark tasks for both continuous and discrete control tasks and show that it can significantly improve the performance of various off-policy RL methods. Further analysis confirms that the improvements of the sample efficiency indeed are due to sampling diverse and meaningful transitions by NERS that considers both local and global contexts.

研究动机与目标

• 解决现有基于规则和独立学习的采样方法在经验回放缓冲中导致的偏差或冗余采样问题。
• 通过同时考虑局部特征和全局上下文，学习转移的相对重要性，提升离策略强化学习中的样本效率。
• 开发一种神经采样策略，动态平衡回放缓冲采样中的多样性与意义性。
• 验证通过局部和全局上下文建模相对重要性可显著提升多种强化学习算法的性能。

提出的方法

• NERS 采用排列等变神经网络架构，以转移特征集合作为输入，实现对输入顺序的等变性，并建模转移之间的相互依赖关系。
• 模型利用局部特征（如 TD 误差、Q 值、原始状态-动作-奖励）和全局上下文（所有采样转移的聚合特征）计算每个转移的相对重要性得分。
• 重要性得分通过可微目标端到端学习，最大化智能体回报，从而支持基于梯度的采样策略优化。
• 该方法被集成到现有的离策略强化学习算法（如 SAC、TD3 和 Rainbow）中，替代标准的回放缓冲采样策略。
• NERS 通过智能体回报作为代理信号，以自监督方式训练，使其在无需显式监督的情况下学习有效的采样模式。

实验结果

研究问题

• RQ1 一种联合建模局部和全局上下文的神经采样策略，能否提升离策略强化学习中的样本效率？
• RQ2 学习转移之间的相对重要性是否优于独立或基于规则的采样策略？
• RQ3 在多样化的连续控制和离散控制任务中，NERS 与以往基于学习和基于规则的采样方法相比表现如何？
• RQ4 在采样中同时考虑多样性和意义性在多大程度上促进了性能提升？

主要发现

• NERS 在多个离策略强化学习算法（包括 SAC、TD3 和 Rainbow）的连续控制和离散控制基准测试中，显著提升了样本效率和最终性能。
• 与标准随机采样和基于规则的优先经验回放（PER）相比，NERS 在需要探索中间状态的环境中实现了显著的性能提升。
• 消融实验表明，性能增益源于 NERS 通过联合建模局部和全局上下文，有效选择多样且有意义的转移。
• NERS 超越了仅考虑单个转移特征的先前基于学习的采样方法，证明了全局上下文建模的必要性。
• 该框架在不同强化学习算法和环境中均表现出鲁棒性，表明其具有超越特定架构的广泛适用性。