[论文解读] A Short Survey On Memory Based Reinforcement Learning

D. Roja Ramani|arXiv (Cornell University)|Apr 14, 2019

Reinforcement Learning in Robotics参考文献 43被引用 14

一句话总结

本文综述了基于记忆的强化学习方法，通过存储和检索高回报经验，利用外部记忆模块提升深度强化学习中的决策能力，从而提高样本效率。文章回顾了记忆网络和可微神经计算机等架构，在Atari、迷宫和记忆配对游戏（Concentration）环境中评估其性能，并指出情景记忆在稀疏奖励设置下可加速学习过程。

ABSTRACT

Reinforcement learning (RL) is a branch of machine learning which is employed to solve various sequential decision making problems without proper supervision. Due to the recent advancement of deep learning, the newly proposed Deep-RL algorithms have been able to perform extremely well in sophisticated high-dimensional environments. However, even after successes in many domains, one of the major challenge in these approaches is the high magnitude of interactions with the environment required for efficient decision making. Seeking inspiration from the brain, this problem can be solved by incorporating instance based learning by biasing the decision making on the memories of high rewarding experiences. This paper reviews various recent reinforcement learning methods which incorporate external memory to solve decision making and a survey of them is presented. We provide an overview of the different methods - along with their advantages and disadvantages, applications and the standard experimentation settings used for memory based models. This review hopes to be a helpful resource to provide key insight of the recent advances in the field and provide help in further future development of it.

研究动机与目标

• 综述近期将外部记忆引入以提升样本效率和决策能力的强化学习方法。
• 分析不同记忆架构在深度强化学习中的优势与局限性。
• 全面概述用于评估基于记忆的强化学习智能体的标准测试环境。
• 强调海马体在设计记忆增强型强化学习系统时的生物学启发。
• 为未来记忆增强型强化学习研究提供参考。

提出的方法

• 使用马尔可夫决策过程（MDP）框架建模序列决策过程，包含状态、动作、奖励和转移动态。
• 采用外部记忆模块存储和检索过往经验，特别是高回报经验，以加快策略学习。
• 应用比较器网络计算当前观测与存储记忆之间的相似性，采用基于嵌入的比较方法。
• 引入好奇心奖励机制：b = α(β − C(M, e))，其中C(M, e)衡量记忆相似性，b决定是否存储新经验。
• 使用新颖性阈值判断是否将新观测嵌入添加至记忆，依据其好奇心奖励。
• 在部分模型中采用经验回放结合优先采样和目标网络，但重点在于超越标准DQN的记忆增强型架构。

实验结果

研究问题

• RQ1 外部记忆模块如何提升深度强化学习中的样本效率？
• RQ2 记忆增强型强化学习智能体的关键架构设计是什么？它们之间有何差异？
• RQ3 在部分可观察或稀疏奖励环境中，基于记忆的方法如何优于标准深度强化学习算法？
• RQ4 基于记忆的智能体在未见过的环境（如随机生成的迷宫）中如何泛化？
• RQ5 记忆增强模型在多大程度上模拟了海马体等生物学习机制？

主要发现

• 基于记忆的强化学习方法通过使智能体能够回忆并重用高回报经验，显著提升了样本效率。
• 好奇心奖励机制的引入使智能体能够优先探索新颖经验，从而在稀疏奖励环境中提升探索效率。
• 在2D与3D迷宫环境中，记忆增强型智能体通过利用情景记忆实现长程规划，优于标准DQN和A3C算法。
• 在Atari环境中，记忆增强型智能体以比标准深度强化学习基线更少的环境交互次数达到人类水平性能。
• 记忆配对游戏（Concentration）基准测试表明，基于记忆的智能体能够解决需要长期记忆和模式识别的任务，优于无记忆模型。
• 记忆模块的集成显著加快了收敛速度并提升了泛化能力，尤其在部分可观察马尔可夫决策过程（POMDP）中表现突出。