[论文解读] Linear Transformers Are Secretly Fast Weight Memory Systems

Imanol Schlag, Kazuki Irie+1 more|arXiv (Cornell University)|Feb 22, 2021

Topic Modeling参考文献 44被引用 14

一句话总结

本文建立了线性化自注意力与20世纪90年代的快速权重记忆系统之间的形式等价性，揭示了当前线性注意力变体中的记忆容量限制。它提出了一种新颖的更新规则和核函数，以实现动态记忆操作，在检索、翻译和语言建模任务中表现出更优性能。

ABSTRACT

We show the formal equivalence of linearised self-attention mechanisms and fast weight memories from the early '90s. From this observation we infer a memory capacity limitation of recent linearised softmax attention variants. With finite memory, a desirable behaviour of fast weight memory models is to manipulate the contents of memory and dynamically interact with it. Inspired by previous work on fast weights, we propose to replace the update rule with an alternative rule yielding such behaviour. We also propose a new kernel function to linearise attention, balancing simplicity and effectiveness. We conduct experiments on synthetic retrieval problems as well as standard machine translation and language modelling tasks which demonstrate the benefits of our methods.

研究动机与目标

• 识别并解决现有线性化Softmax自注意力机制中的记忆容量限制问题。
• 建立线性化自注意力与20世纪90年代初快速权重记忆系统之间的形式等价性。
• 通过用更具表现力的替代规则替换标准更新规则，实现对内存的动态交互。
• 设计一种新的核函数，以在简化性与有效性之间实现平衡，实现注意力的线性化。
• 在合成检索任务和标准自然语言处理基准上验证所提方法。

提出的方法

• 提出一种新型线性注意力更新规则，可实现对内存内容的动态操控，灵感源自快速权重记忆机制。
• 引入一种新颖的核函数，以实现注意力机制的线性化，提升简化性与性能之间的平衡。
• 利用线性化自注意力与快速权重记忆之间的形式等价性，将注意力重新构想为具有可控动态特性的记忆系统。
• 采用改进的权重更新机制，使模型能够主动修改和与内部记忆状态进行交互。
• 将改进的机制应用于序列建模任务，包括机器翻译和语言建模，使用标准基准进行评估。

实验结果

研究问题

• RQ1 线性化自注意力与快速权重记忆系统之间是否存在形式化的数学等价性？
• RQ2 现有线性化Softmax自注意力变体在记忆容量和动态特性方面存在哪些局限性？
• RQ3 经过修改的更新规则是否能实现注意力机制中更有效、更动态的内存操控？
• RQ4 所提出的核函数在简化性与有效性之间的平衡方面，相较于现有方法表现如何？
• RQ5 改进的记忆动态特性是否能在标准自然语言处理基准上带来可测量的性能提升？

主要发现

• 线性化自注意力机制与20世纪90年代初的快速权重记忆系统在形式上是等价的。
• 现有线性化Softmax自注意力变体由于其固定的更新规则，存在根本性的记忆容量限制。
• 所提出的更新规则实现了对内存的动态交互，使模型能够在推理过程中操控存储的内容。
• 新型核函数在保持计算效率的同时，提升了注意力线性化的性能。
• 在合成检索任务上的实验表明，模型能够学习复杂的记忆操作，如关联回忆。
• 在标准机器翻译和语言建模任务上，所提方法在性能上达到或超越基线模型。