[论文解读] A Cheap Linear Attention Mechanism with Fast Lookups and Fixed-Size Representations

Alexandre de Brébisson, Pascal Vincent|arXiv (Cornell University)|Sep 19, 2016

Topic Modeling参考文献 4被引用 6

一句话总结

本文提出了一类线性注意力机制，通过从传统注意力中移除Softmax非线性，实现恒定时间的注意力查找和固定大小的表示，从而在长序列和高查询负载的大规模应用中实现高效计算。实验表明，这些机制显著优于无注意力模型，性能接近但未超越Softmax注意力。

ABSTRACT

The softmax content-based attention mechanism has proven to be very beneficial in many applications of recurrent neural networks. Nevertheless it suffers from two major computational limitations. First, its computations for an attention lookup scale linearly in the size of the attended sequence. Second, it does not encode the sequence into a fixed-size representation but instead requires to memorize all the hidden states. These two limitations restrict the use of the softmax attention mechanism to relatively small-scale applications with short sequences and few lookups per sequence. In this work we introduce a family of linear attention mechanisms designed to overcome the two limitations listed above. We show that removing the softmax non-linearity from the traditional attention formulation yields constant-time attention lookups and fixed-size representations of the attended sequences. These properties make these linear attention mechanisms particularly suitable for large-scale applications with extreme query loads, real-time requirements and memory constraints. Early experiments on a question answering task show that these linear mechanisms yield significantly better accuracy results than no attention, but obviously worse than their softmax alternative.

研究动机与目标

• 解决在长序列和高查询量的大规模应用中Softmax注意力的计算低效问题。
• 通过实现固定大小的文档表示，克服存储所有隐藏状态的内存瓶颈。
• 开发一种适用于实时系统和内存受限环境的可扩展注意力机制。
• 探究线性注意力是否能保持有用的长距离依赖关系，并相比标准RNN提升训练稳定性。

提出的方法

• 用线性公式替代标准注意力中的Softmax非线性，实现每次查找O(k²)的计算复杂度，与序列长度n无关。
• 维护一个k×k的矩阵C(t)，用于累积隐藏状态的二阶统计量，实现固定大小的序列编码。
• 使用矩阵C(t)计算注意力为Hᵀ(C(t)q)，其中q为查询向量，实现快速、恒定时间的注意力计算。
• 引入线性机制的门控变体，通过学习调制注意力权重来提升性能。
• 使用ADAM优化器进行训练，查询和文档共享GRU编码器，k=100，词嵌入维度为100。
• 实现优化的推理，仅在注意力查找上实现理论速度提升n/k ≈ 7倍。

实验结果

研究问题

• RQ1 线性注意力机制是否能在不依赖序列长度的情况下实现恒定时间的注意力查找？
• RQ2 固定大小的表示（k×k矩阵）是否能捕获足够信息以在长序列中实现有效注意力？
• RQ3 在线性注意力、无注意力和Softmax注意力在问答任务中的性能如何比较？
• RQ4 门控机制是否能提升线性注意力的表征能力，从而缩小与Softmax注意力机制的准确率差距？
• RQ5 与标准RNN相比，线性机制是否能提升训练稳定性和长距离依赖学习能力？

主要发现

• 线性注意力机制在每次注意力查找中实现O(k²)的计算复杂度，与序列长度n无关，实现恒定时间推理。
• 该机制支持大小为O(k²)的固定大小表示，相比存储O(nk)个隐藏状态，显著降低内存使用。
• 实验表明，线性注意力显著优于无注意力模型，证明了其有效性。
• 线性机制的门控扩展进一步提升了准确率，缩小了与完整Softmax注意力机制的差距。
• k×k矩阵表示作为一种跳跃连接形式，有助于缓解梯度消失问题，改善长距离依赖学习。
• 仅在注意力查找上，理论速度提升可达n/k ≈ 7倍，尽管当前实验设置未完全实现该性能。