[论文解读] Been There, Done That: Meta-Learning with Episodic Recall

Samuel Ritter, Jane X. Wang+5 more|arXiv (Cornell University)|May 24, 2018

Domain Adaptation and Few-Shot Learning参考文献 16被引用 32

一句话总结

本文提出了一种基于可微分神经字典（DND）和门控循环单元（epLSTM）的事件记忆增强元学习智能体，以实现在开放式、重复性环境中的终身学习。该智能体通过基于上下文的记忆召回机制检索先前学习到的策略，显著减少了重复任务上的重新学习，实证结果表明其具备可靠的记忆检索能力，并在五个多样化的元学习环境中实现了性能提升。

ABSTRACT

Meta-learning agents excel at rapidly learning new tasks from open-ended task distributions; yet, they forget what they learn about each task as soon as the next begins. When tasks reoccur - as they do in natural environments - metalearning agents must explore again instead of immediately exploiting previously discovered solutions. We propose a formalism for generating open-ended yet repetitious environments, then develop a meta-learning architecture for solving these environments. This architecture melds the standard LSTM working memory with a differentiable neural episodic memory. We explore the capabilities of agents with this episodic LSTM in five meta-learning environments with reoccurring tasks, ranging from bandits to navigation and stochastic sequential decision problems.

研究动机与目标

• 解决元学习智能体在遇到新任务时遗忘先前学习任务的局限性。
• 形式化开放式、重复性环境，其中任务以自然频率分布重新出现。
• 开发一种元学习架构，实现在任务重新出现时快速回忆并重用先前学习到的策略。
• 将事件记忆与元学习相结合，提升样本效率并减少重复任务上的重新探索。
• 在多样化环境中评估该架构，包括多臂赌博机、导航任务和序列决策任务。

提出的方法

• 提出一种基于Blackwell-MacQueen瓮方案的随机任务过程，用于生成具有Zipf-like重新出现频率的开放式、重复性任务序列。
• 引入epLSTM架构，将标准LSTM与可微分神经字典（DND）结合，用于事件记忆的存储与检索。
• 采用乘法重启门（r-gate）机制，根据上下文线索控制检索到的事件记忆流入LSTM工作记忆的流量。
• 采用双记忆机制：长期事件记忆（DND）用于存储特定任务的隐藏状态，而LSTM则维持工作记忆以支持在线决策。
• 采用元学习框架进行训练，其中每个任务从分布𝒟中采样，智能体通过归纳偏置实现快速适应。
• 对DND应用对比损失和辅助训练，以提升嵌入质量与基于邻近性的检索性能。

实验结果

研究问题

• RQ1 在开放式、重复性环境中，元学习智能体能否有效回忆并重用先前学习到的策略？
• RQ2 可微分事件记忆的集成在多大程度上提升了样本效率并减少了重复任务上的重新探索？
• RQ3 r-gate机制在多大程度上能根据上下文相关性选择性地控制事件记忆的流入？
• RQ4 智能体能否通过检索并组合存储的策略，在组合性任务上实现泛化？
• RQ5 在具有延迟反馈的多状态MDP中，事件记忆如何影响学习动态？

主要发现

• r-gate机制在激活水平上表现出统计显著差异，正确动作期间的激活值（均值 = 0.365）显著高于错误动作期间（均值 = 0.358），p < 1e-20。
• 具备事件记忆的智能体在重复任务上表现出更少的重新探索，能够‘从上次中断处继续’，而非从零开始重新学习。
• 该模型成功利用基于类别的上下文线索检索到存储的策略，表明实现了有效的语义记忆检索。
• 在受神经科学启发的水迷宫任务中，智能体发现了一种类似于人类事件记忆回忆的记忆基学习策略。
• 事件记忆系统使智能体能够通过组合先前学习到的子策略来处理组合性任务。
• 基于DND的检索机制在多状态MDP中表现出鲁棒性，记忆重启支持了长序列中的导航与决策。