[论文解读] Learning to update Auto-associative Memory in Recurrent Neural Networks for Improving Sequence Memorization

Wei Zhang, Bowen Zhou|arXiv (Cornell University)|Sep 19, 2017

Topic Modeling参考文献 27被引用 8

一句话总结

本文提出了一种可学习的自联想记忆机制，嵌入循环神经网络（RNNs）中，通过与任务目标联合训练记忆更新规则，以提升长序列记忆能力。通过将多个自联想记忆与路由网络结合，使信息丰富的瞥见被导向不同的记忆单元，该模型在MNIST上实现了0.45%的测试误差——相比单记忆基线模型相对提升了8%——证明了其在复杂序列编码中具备更强的容量与鲁棒性。

ABSTRACT

Learning to remember long sequences remains a challenging task for recurrent neural networks. Register memory and attention mechanisms were both proposed to resolve the issue with either high computational cost to retain memory differentiability, or by discounting the RNN representation learning towards encoding shorter local contexts than encouraging long sequence encoding. Associative memory, which studies the compression of multiple patterns in a fixed size memory, were rarely considered in recent years. Although some recent work tries to introduce associative memory in RNN and mimic the energy decay process in Hopfield nets, it inherits the shortcoming of rule-based memory updates, and the memory capacity is limited. This paper proposes a method to learn the memory update rule jointly with task objective to improve memory capacity for remembering long sequences. Also, we propose an architecture that uses multiple such associative memory for more complex input encoding. We observed some interesting facts when compared to other RNN architectures on some well-studied sequence learning tasks.

研究动机与目标

• 为解决RNN中长序列记忆的挑战，标准架构因隐藏状态压缩与梯度消失而表现受限。
• 克服关联记忆模型中基于规则的记忆更新机制的局限性，如固定更新规则与容量有限。
• 通过端到端学习记忆更新规则与任务目标，提升RNN在长上下文任务中的性能。
• 探索使用多个自联想记忆单元与路由机制，以实现对输入模式的非线性、类型特异性处理。
• 评估可学习的记忆更新规则与多记忆架构是否能在序列学习任务中超越标准RNN与注意力机制。

提出的方法

• 提出一种可微、可学习的自联想记忆更新规则，用于RNN中的自联想记忆，以梯度优化替代基于规则的能量最小化。
• 引入一个路由网络，利用启发式规则（如非黑色像素数>10）将瞥见分类为信息丰富或非信息丰富，并将其路由至不同的记忆单元。
• 采用双记忆架构，每个记忆单元使用不同的高斯分布初始化的权重矩阵，以增强内容区分度。
• 使用一个基于RNN隐藏状态的瞥见网络，生成动态视觉瞥见，随后由记忆与路由组件处理。
• 应用改进的记忆更新公式：$ g(A_t, \mathbf{w} \odot \mathbf{h}_t + \mathbf{V} \mathbf{g}_t) $，其中 $ \mathbf{g}_t $ 为瞥见向量，$ \mathbf{V} $ 为可学习的投影矩阵。
• 使用反向传播端到端训练整个模型，联合优化RNN、记忆更新与路由组件，以实现序列分类。

实验结果

研究问题

• RQ1 与固定规则的更新机制相比，自联想记忆中可学习的记忆更新规则是否能提升RNN在长序列记忆中的表现？
• RQ2 使用多个自联想记忆单元与路由机制，是否能增强模型对复杂、异质输入模式的编码能力？
• RQ3 基于启发式规则的路由网络能否有效分离信息丰富与非信息丰富的瞥见，从而提升序列任务的分类准确率？
• RQ4 所提出的模型（WeiNet）在长上下文序列学习任务中，与标准RNN、Fast Weights及注意力机制模型相比表现如何？
• RQ5 最优记忆单元数量是多少？增加记忆单元数量超过两个是否会引发训练不稳定性或收益递减？

主要发现

• WeiNet采用单个自联想记忆单元在MNIST数字分类任务中实现了0.45%的测试误差，相比单记忆基线模型相对误差率降低8%。
• 使用两个记忆单元并结合基于启发式规则的路由机制，性能优于单记忆模型，表明类型特异性记忆处理可增强表征学习。
• 将记忆单元数量增加至两个以上并未提升测试准确率，表明额外容量可能引发训练不稳定性与收益递减。
• 采用动态注意力与多记忆结构的模型优于固定注意力基线，证实自适应瞥见选择可提升信息保留能力。
• 路由网络采用非黑色像素阈值（p=10）来分类信息丰富的瞥见，有效过滤噪声并提升分类鲁棒性。
• 可学习的记忆更新规则在长序列编码方面优于基于规则的关联记忆机制，这在序列学习基准测试中表现更优。