[论文解读] Metalearned Neural Memory

Tsendsuren Munkhdalai, Alessandro Sordoni+2 more|arXiv (Cornell University)|Jul 23, 2019

Anomaly Detection Techniques and Applications被引用 23

一句话总结

本文提出了一种元学习神经记忆机制，通过将记忆视为可微分且快速适应的深度神经网络函数，从而增强循环神经网络。通过使用元学习在单步内更新记忆函数，该模型在多种任务中均表现出色，包括监督型问答和强化学习。

ABSTRACT

We augment recurrent neural networks with an external memory mechanism that builds upon recent progress in metalearning. We conceptualize this memory as a rapidly adaptable function that we parameterize as a deep neural network. Reading from the neural memory function amounts to pushing an input (the key vector) through the function to produce an output (the value vector). Writing to memory means changing the function; specifically, updating the parameters of the neural network to encode desired information. We leverage training and algorithmic techniques from metalearning to update the neural memory function in one shot. The proposed memory-augmented model achieves strong performance on a variety of learning problems, from supervised question answering to reinforcement learning.

研究动机与目标

• 为解决序列建模中固定或学习缓慢的记忆机制的局限性，实现对新任务的快速适应。
• 通过引入可微分的、基于函数的记忆系统，提升循环网络的泛化能力和少样本学习性能。
• 利用元学习技术，实现记忆函数的一次性参数更新，从而增强适应能力。
• 在多种学习任务（包括监督学习和强化学习）中，证明记忆增强模型的有效性。

提出的方法

• 记忆被建模为将键向量映射到值向量的深度神经网络，从而实现可微分的读取操作。
• 写入记忆涉及更新神经网络的参数以编码新信息，将记忆视为可学习的函数。
• 使用元学习技术对记忆函数进行预训练，使其能够通过单步更新适应新任务。
• 模型采用记忆增强型RNN架构，将外部记忆函数集成到循环计算中。
• 训练过程通过在推理阶段使用少样本适应，优化记忆函数以实现跨任务的泛化。

实验结果

研究问题

• RQ1 能否通过元学习快速适应新任务的基于神经网络的记忆机制？
• RQ2 可微分的、基于函数的记忆如何提升序列建模任务的性能？
• RQ3 对记忆函数的一次性参数更新在少样本学习场景中能在多大程度上增强泛化能力？
• RQ4 元学习记忆机制是否在多种学习任务中优于传统记忆增强型网络？

主要发现

• 通过利用快速的一次性记忆适应，该模型在监督型问答任务中表现出强劲性能。
• 元学习记忆机制在强化学习环境中实现了有效的少样本学习。
• 采用元学习函数型记忆的记忆增强型RNN由于具备快速适应能力，在多种任务中表现出良好的泛化性能。
• 该方法证明了将记忆视为可微分、可学习函数的可行性，且可通过元学习实现高效更新。