[论文解读] Enhanced Experience Replay Generation for Efficient Reinforcement Learning

Vincent Huang, Tobias Ley+2 more|arXiv (Cornell University)|May 23, 2017

Reinforcement Learning in Robotics参考文献 8被引用 3

一句话总结

该论文提出了一种基于增强生成对抗网络的经验回放（EGAN），以加速在稀疏且采样缓慢的实时系统中的强化学习。通过利用状态-动作-奖励关系提升合成数据质量，EGAN 实现了对强化学习智能体的预训练，与无预训练相比训练时间减少了 20%，相较于标准 GAN 预训练提升了 5%，且性能方差更低。

ABSTRACT

Applying deep reinforcement learning (RL) on real systems suffers from slow data sampling. We propose an enhanced generative adversarial network (EGAN) to initialize an RL agent in order to achieve faster learning. The EGAN utilizes the relation between states and actions to enhance the quality of data samples generated by a GAN. Pre-training the agent with the EGAN shows a steeper learning curve with a 20% improvement of training time in the beginning of learning, compared to no pre-training, and an improvement compared to training with GAN by about 5% with smaller variations. For real time systems with sparse and slow data sampling the EGAN could be used to speed up the early phases of the training process.

研究动机与目标

• 解决在 5G 电信系统等实时强化学习（RL）环境中因数据采样稀疏且缓慢带来的挑战。
• 缩短在现实世界 RL 应用中常见的长训练时长，尤其是在探索行为可能影响服务质量的场景下。
• 通过使用生成模型生成的合成经验对 RL 智能体进行预训练，提升样本效率。
• 通过建模状态、动作与奖励之间的关系，超越标准 GAN，提升生成经验的质量。
• 开发一种稳健且高效的预训练框架，以实现在生产关键系统中更快收敛与稳定学习。

提出的方法

• 在目标环境中使用随机策略收集少量真实经验（500 个回合）作为数据集。
• 在真实经验数据上训练生成对抗网络（GAN），以生成合成的状态-动作-奖励三元组。
• 引入一个增强器神经网络，用于建模状态与动作之间的条件关系，以优化生成样本的质量。
• 使用增强后的合成数据（6000 个批次）在在线训练前对 RL 智能体的策略网络进行预训练。
• 在在线训练中应用近端策略优化（PPO），并以预训练策略作为初始化。
• 通过 100 回合滚动平均奖励比较训练曲线，评估性能相对于无预训练和标准 GAN 预训练的结果。

实验结果

研究问题

• RQ1 使用 GAN 生成的合成经验对 RL 智能体进行预训练，是否能显著缩短在稀疏数据现实环境中达到最优性能所需的时间？
• RQ2 在生成过程中建模状态-动作-奖励关系，如何影响合成经验的质量与在 RL 预训练中的实用性？
• RQ3 与标准 GAN 基础预训练和无预训练相比，所提出的 EGAN 框架是否提升了样本效率与训练稳定性？
• RQ4 在真实生产系统中，为实现成本与性能增益的平衡，最优的预训练长度（以回合计）是多少？
• RQ5 EGAN 在多大程度上降低了学习曲线的方差，表明 RL 智能体的鲁棒性得到提升？

主要发现

• 与无任何预训练相比，EGAN 预训练将所需训练时间减少了 20%，表明样本效率显著提升。
• 与标准 GAN 基础预训练相比，EGAN 方法在学习速度上提升了 5%，表明增强器组件有效提升了数据质量。
• EGAN 预训练智能体的学习曲线初始上升更陡峭，表明由于初始化更优，策略优化速度更快。
• 系统表现出更低的性能方差，滚动平均奖励曲线的标准差带更紧密，表明鲁棒性更强。
• 使用 500 回合真实数据进行预训练比更长的预训练（如 5000 回合）更具成本效益和效率，因其在不增加过多数据开销的前提下实现了显著的性能提升。
• EGAN 生成的增强合成数据使 RL 智能体在更少的累积样本下实现了更高的平均奖励，证实了在稀疏环境中样本效率的提升。