[论文解读] Associative Long Short-Term Memory

Ivo Danihelka, Greg Wayne+3 more|arXiv (Cornell University)|Feb 9, 2016

Advanced Memory and Neural Computing参考文献 18被引用 108

一句话总结

本论文提出 Associative LSTM，一种使用冗余全息记忆来存储键值对而不增加网络参数的记忆增强型 RNN，提升记忆速度和容量。它将 HRR 基于的绑定与 LSTM 门控以及多份读写副本结合，以降低检索噪声。

ABSTRACT

We investigate a new method to augment recurrent neural networks with extra memory without increasing the number of network parameters. The system has an associative memory based on complex-valued vectors and is closely related to Holographic Reduced Representations and Long Short-Term Memory networks. Holographic Reduced Representations have limited capacity: as they store more information, each retrieval becomes noisier due to interference. Our system in contrast creates redundant copies of stored information, which enables retrieval with reduced noise. Experiments demonstrate faster learning on multiple memorization tasks.

研究动机与目标

• 激发在不增加参数的情况下，通过记忆机制提升 LSTM。
• 开发使用全息化简表示的联想型键–值记忆。
• 通过多份内存副本引入冗余，以降低检索噪声。
• 将冗余联想记忆与 LSTM 门控整合，形成一个统一的架构。
• 展示在记忆与序列任务上的更快学习速度和具有竞争力的性能。

提出的方法

• 使用全息化简表示表示键–值对，并通过复值运算进行绑定。
• 通过对每个键–值对存储多个具有独立置换的变换副本来创建冗余的记忆痕迹。
• 通过在副本之间取平均并使用共轭样的运算来绑定/解绑键进行检索。
• 通过产生复值键并设计与 LSTM 门控（遗忘、输入、输出）相镜像的更新规则，将联想记忆整合到 LSTM 中，包含复值分量。
• 允许副本的并行更新，并通过多个键（记忆头）实现类似头部的读取。
• 与基线方法（LSTM、Permutation RNN、Unitary RNN、Multiplicative Unitary RNN）进行比较，并在各任务上评估学习速度和准确性。

实验结果

研究问题

• RQ1 在不增加参数数量的情况下，具备记忆增强的联想 LSTM 是否能以更高的容量存储和检索键–值对？
• RQ2 通过多份副本的冗余存储是否能降低检索噪声并在记忆与序列任务上提高学习速度？
• RQ3 联想记忆如何与 LSTM 门控整合，以在启用内存寻址的同时保留序列建模能力？
• RQ4 在标准任务（情节复制、XML 建模、变量赋值、算术、维基百科）上，关联 LSTM 与标准 LSTM 及其他记忆增强模型相比如何？

主要发现

• 冗余的联想记忆在不增加网络参数的情况下实现更大的有效记忆容量。
• 在使用具有随机置换的多副本时，随着存储项数量的增加，检索噪声下降，当副本数量随项数增长时，大致使检索误差保持在可控范围。
• 关联 LSTM 在情节复制和 XML 建模任务上比 LSTM 学得更快，并在其他任务上也有竞争力的结果，尤其是副本数量增加时。
• 在情节复制任务中，具有多份副本的联想记忆提高了速度；单副本联想 LSTM 具有竞争力，但并不总是优于更大的 LSTM。
• 在 XML 建模任务中，随着副本增多，Associative LSTM 显示出显著优势，在若干配置中优于或接近 LSTM。
• 在变量赋值和算术任务上，多个读写头（副本）帮助 Associative LSTM 更高效地完成任务，尽管任务细节随副本数量和架构而异。
• 在维基百科语言建模任务中，Associative LSTM 的表现与 LSTM 相当，表明其在序列建模方面至少与 LSTM 同等通用性。