[论文解读] Feed-Forward Networks with Attention Can Solve Some Long-Term Memory Problems

Colin Raffel, Daniel P. W. Ellis|arXiv (Cornell University)|Dec 29, 2015

Neural Networks and Applications参考文献 30被引用 273

一句话总结

该论文提出了一种带有简化注意力机制的前馈神经网络，能够实现高效且并行的计算，并在长达10,000个标记的序列上成功解决长期记忆任务（如加法和乘法）。该模型在可变长度序列上实现了接近完美的准确率（加法任务为99.9%，乘法任务为99.4%），优于标准RNN和未加权平均方法，表明前馈网络中的注意力机制能够在无循环结构的情况下有效捕捉长距离依赖关系。

ABSTRACT

We propose a simplified model of attention which is applicable to feed-forward neural networks and demonstrate that the resulting model can solve the synthetic "addition" and "multiplication" long-term memory problems for sequence lengths which are both longer and more widely varying than the best published results for these tasks.

研究动机与目标

• 探究带有注意力机制的前馈网络是否能够解决通常需要循环结构才能处理的长期记忆问题。
• 评估注意力机制在无循环结构下实现长距离序列建模的有效性，特别是针对可变长度序列。
• 对比基于注意力机制的序列整合方法与未加权平均方法在处理长且可变长度序列时的性能表现。
• 证明带有注意力机制的前馈网络能够在实现完全并行化的同时，对合成的长期记忆任务实现高准确率。
• 提供实证证据表明，注意力机制可使模型在非循环架构中选择性地关注序列中的特定位置。

提出的方法

• 对于每个输入标记 $ x_t $，模型计算隐藏状态 $ h_t = \text{LReLU}(W_{xh}x_t + b_{xh}) $，其中使用可学习的权重矩阵和偏置。
• 通过前馈注意力计算上下文向量 $ c $：$ c = \sum_{t=1}^T \alpha_t h_t $，其中 $ \alpha_t = \frac{\exp(a(h_t))}{\sum_k \exp(a(h_k))} $，$ a $ 为可学习函数，用于生成注意力权重。
• 注意力机制通过基于相关性加权隐藏状态，使模型能够计算出固定长度且自适应的整个序列表示。
• 模型通过反向传播进行端到端训练，无循环结构，从而实现在序列位置上的完全并行化。
• 将该方法与使用未加权平均池化的基线方法进行对比：$ c = \frac{1}{T}\sum_{t=1}^T h_t $，以隔离自适应注意力带来的优势。
• 在固定长度和可变长度序列的合成加法与乘法任务上进行实验，测试模型在长达10,000个标记的序列长度上的泛化能力。

实验结果

研究问题

• RQ1 带有注意力机制的前馈网络是否能够解决标准RNN难以处理的、长度更长的序列上的长期记忆任务（如加法和乘法）？
• RQ2 与未加权平均相比，所提出的注意力机制是否能在可变长度序列上实现更好的泛化性能？
• RQ3 无循环结构的模型是否能在保持计算效率的同时，通过并行化实现对长序列的高准确率？
• RQ4 注意力机制在多大程度上使模型能够选择性地关注输入序列中的相关位置？
• RQ5 在合成基准测试中，前馈注意力模型在长且差异显著的序列长度上的性能与RNN相比如何？

主要发现

• 在长度范围为50至10,000个时间步的可变长度序列上进行训练后，前馈注意力模型在加法任务上达到99.9%的准确率，在乘法任务上达到99.4%的准确率。
• 该模型成功解决了长达10,000个标记的长期记忆任务，显著超过了标准RNN通常只能处理的几百步左右的限制。
• 在NVIDIA GTX 980 Ti GPU上，训练100,000条长度为10,000的序列仅需254秒，而具有相似参数量的单层RNN则需要917秒。
• 注意力机制相比未加权平均带来了显著的性能提升：在可变长度加法任务中，准确率从77.4%提升至99.9%。
• 该模型表明，前馈网络中的自适应注意力机制能够在无循环结构的情况下实现有效的长距离依赖学习，同时支持高效的并行训练。
• 结果表明，对于顺序无关的任务，带有注意力机制的前馈网络可作为RNN在长序列建模中的强大替代方案。