[论文解读] Learning to Remember More with Less Memorization

Hung Lê, Truyen Tran+1 more|arXiv (Cornell University)|Jan 5, 2019

Topic Modeling参考文献 31被引用 13

一句话总结

本文提出了统一写作（UW）和缓存统一写作（CUW），这是一种针对记忆增强神经网络（MANNs）的新颖非规则写作策略，通过优化信息保留，减少冗余计算并提高记忆效率。通过理论界定内存使用量并放松等时步假设，CUW在有限内存条件下于长序列建模任务中实现了最先进性能，优于标准MANNs（如DNC和Transformer）。

ABSTRACT

Memory-augmented neural networks consisting of a neural controller and an external memory have shown potentials in long-term sequential learning. Current RAM-like memory models maintain memory accessing every timesteps, thus they do not effectively leverage the short-term memory held in the controller. We hypothesize that this scheme of writing is suboptimal in memory utilization and introduces redundant computation. To validate our hypothesis, we derive a theoretical bound on the amount of information stored in a RAM-like system and formulate an optimization problem that maximizes the bound. The proposed solution dubbed Uniform Writing is proved to be optimal under the assumption of equal timestep contributions. To relax this assumption, we introduce modifications to the original solution, resulting in a solution termed Cached Uniform Writing. This method aims to balance between maximizing memorization and forgetting via overwriting mechanisms. Through an extensive set of experiments, we empirically demonstrate the advantages of our solutions over other recurrent architectures, claiming the state-of-the-arts in various sequential modeling tasks.

研究动机与目标

• 为解决记忆增强神经网络（MANNs）中连续写作导致的计算低效问题，该问题引发冗余计算和短期控制器内存利用率不足。
• 在假设所有时步贡献相等的前提下，推导出RAM类MANN系统中信息保留的理论边界。
• 提出一种最优写作策略——统一写作（UW），以最大化该边界并减少计算开销。
• 通过引入缓存统一写作（CUW）放松等时步假设，利用局部注意力实现记忆保留与遗忘之间的平衡。
• 通过实证验证，UW与CUW在合成与真实世界序列任务中均优于现有MANNs及最先进模型。

提出的方法

• 提出一种理论度量方法，基于隐藏状态的梯度范数来衡量MANNs中的信息保留程度，反映每个输入对最终状态的贡献程度。
• 在等时步贡献假设下推导出统一写作（UW）作为最优写作策略，通过最小化冗余写入并最大化信息存储来实现。
• 通过将UW与局部注意力结合，引入缓存统一写作（CUW），实现选择性写入，从而更好地识别关键时步。
• 采用写入门控机制控制内存更新，使模型能够根据输入重要性学习何时写入。
• 采用由神经控制器控制的基于注意力的读写操作，通过不规则写入调度优化内存访问。
• 将该方法应用于现有MANN架构（如DNC），在不改变网络结构的前提下集成UW与CUW。

实验结果

研究问题

• RQ1 在假设所有时步对系统贡献相等的前提下，能否理论界定RAM类MANN系统中存储的信息量？
• RQ2 MANNs中的连续写作是否因冗余计算和短期控制器内存利用率不足而次优？
• RQ3 能否推导出一种最优写作策略，在MANNs中最大化信息保留的同时最小化计算成本？
• RQ4 如何放松等时步假设，以提升在真实非均匀序列任务中的性能？
• RQ5 所提出的写作策略——UW与CUW，能否在长上下文序列建模任务中实现最先进性能？

主要发现

• 缓存统一写作（CUW）在文档分类任务中实现了最先进性能，优于DNC与Transformer，在IMDb、Yelp和AG's News数据集上表现更优。
• 在AG's News数据集上，CUW实现了93.73% ± 0.08的平均准确率，超过UW（93.54% ± 0.08）和Transformer（MNIST上为98.9%，但在pMNIST上表现较低）。
• 在含噪声输入的正弦回归任务中，CUW能够与信号振幅同步写入，解码准确率高于UW与DNC。
• UW在干净与含噪声的正弦任务中均优于标准DNC，验证了其在等贡献假设下的理论最优性。
• 可视化结果表明，CUW能有效识别关键时步，并实现写入与读取的同步，而DNC则未能协调内存操作。
• 所提方法通过避免在每个时步都进行内存访问，显著降低了计算时间，实现了性能不降低下的效率提升。