[论文解读] Episodic Memory Deep Q-Networks

Zichuan Lin, Tianqi Zhao+2 more|arXiv (Cornell University)|May 19, 2018

Reinforcement Learning in Robotics参考文献 16被引用 4

一句话总结

本文提出了一种受生物学启发的强化学习算法——情景记忆深度Q网络（EMDQN），通过利用情景记忆来监督训练，从而提升深度Q学习的性能。通过使用可学习的加权因子λ将高回报轨迹提炼到Q网络中，EMDQN在仅使用标准DQN所需1/5数据的情况下，实现了Atari游戏上的最先进性能，显著提高了样本效率并减少了Q值过估计问题。

ABSTRACT

Reinforcement learning (RL) algorithms have made huge progress in recent years by leveraging the power of deep neural networks (DNN). Despite the success, deep RL algorithms are known to be sample inefficient, often requiring many rounds of interaction with the environments to obtain satisfactory performance. Recently, episodic memory based RL has attracted attention due to its ability to latch on good actions quickly. In this paper, we present a simple yet effective biologically inspired RL algorithm called Episodic Memory Deep Q-Networks (EMDQN), which leverages episodic memory to supervise an agent during training. Experiments show that our proposed method can lead to better sample efficiency and is more likely to find good policies. It only requires 1/5 of the interactions of DQN to achieve many state-of-the-art performances on Atari games, significantly outperforming regular DQN and other episodic memory based RL algorithms.

研究动机与目标

• 通过将情景记忆整合到深度Q网络中，提升深度强化学习的样本效率。
• 解决标准DQN在近确定性环境中的收敛缓慢和高数据需求问题。
• 在不依赖双Q学习的情况下，减少函数逼近Q学习中的Q值过估计问题。
• 探索参数化（DQN）与非参数化（情景控制）学习系统在深度强化学习中的生物启发式融合，以实现更优的策略学习。

提出的方法

• EMDQN引入了一个可学习的加权因子λ，用于结合标准DQN损失与源自情景记忆的监督信号。
• 情景记忆存储过去各次episode中获得的高回报状态-动作轨迹，并为Q网络更新提供目标值。
• Q网络通过混合损失进行训练：包括标准DQN损失和一种记忆监督损失，后者将Q值拉向最佳历史轨迹的回报。
• 在训练过程中，通过存储每个episode中观察到的最具回报性的序列来更新情景记忆。
• 该方法使用目标网络和经验回放，与DQN类似，但引入了情景记忆信号以加速学习并稳定训练过程。
• λ的值在训练过程中保持固定，但本文建议动态调整λ可进一步提升性能。

实验结果

研究问题

• RQ1 情景记忆能否提升Atari环境中深度Q学习的样本效率？
• RQ2 情景记忆如何影响深度强化学习中Q值估计的稳定性和收敛性？
• RQ3 情景记忆能否在不使用双Q学习的情况下自然缓解Q值过估计问题？
• RQ4 在深度强化学习中，参数化与非参数化学习系统的结合会产生何种影响？

主要发现

• EMDQN仅使用标准DQN所需1/5的数据，便在Atari游戏中实现了最先进性能。
• 该方法显著缩短了训练时间并降低了样本复杂度，同时保持或提升了最终性能。
• 与DQN相比，EMDQN的Q值学习曲线方差更低，表明其学习信号更加稳定。
• 该算法天然缓解了Q值过估计问题，避免了DQN在训练过程中出现的灾难性奖励下降。
• 在Battlezone等游戏中，后期训练性能略有下降，表明动态调整λ可能有助于更好地平衡探索与利用。
• 情景记忆信号实现了完整的奖励传播，不同于以往最优性紧缩方法中使用的局部边界。