[论文解读] Long Short-Term Attention

Guoqiang Zhong, Xin Lin+3 more|arXiv (Cornell University)|Oct 30, 2018

Domain Adaptation and Few-Shot Learning参考文献 58被引用 5

一句话总结

本文提出长短期注意力网络（LSTA），一种新型循环神经网络架构，将注意力机制无缝集成于长短期记忆（LSTM）网络的核心单元结构中。通过将注意力机制直接嵌入LSTM单元，LSTA通过选择性关注关键信息来增强序列建模能力，同时保持长期依赖性，在图像分类和情感分析任务中实现了最先进的性能，收敛速度更快，准确率高于LSTM及相关模型。

ABSTRACT

Attention is an important cognition process of humans, which helps humans concentrate on critical information during their perception and learning. However, although many machine learning models can remember information of data, they have no the attention mechanism. For example, the long short-term memory (LSTM) network is able to remember sequential information, but it cannot pay special attention to part of the sequences. In this paper, we present a novel model called long short-term attention (LSTA), which seamlessly integrates the attention mechanism into the inner cell of LSTM. More than processing long short term dependencies, LSTA can focus on important information of the sequences with the attention mechanism. Extensive experiments demonstrate that LSTA outperforms LSTM and related models on the sequence learning tasks.

研究动机与目标

• 解决LSTM虽具备强大的长期记忆能力，但在选择性关注重要序列元素方面存在局限性的问题。
• 开发一种将注意力机制直接集成于LSTM单元内部的模型，而非在外部应用。
• 通过结合长期记忆与动态关注显著信息，提升序列学习性能。
• 证明内部注意力机制集成可实现基准序列任务中更快的收敛速度和更高的准确率。

提出的方法

• 提出LSTA作为LSTM的增强变体，将注意力机制嵌入LSTM单元结构中，修改内部状态更新过程。
• 引入一种新型基于注意力的单元状态更新机制，通过对输入序列计算注意力权重，动态强调相关部分。
• 修改LSTM单元方程，以整合注意力加权输入，使网络在状态转移过程中可选择性聚焦于显著特征。
• 采用软注意力机制，基于查询-键相似性计算上下文向量，并在单元状态更新前应用。
• 使用反向传播时间算法进行端到端训练，结合标准优化技术。
• 在单元层级集成注意力机制，确保记忆保持与注意力机制在训练过程中联合优化。

实验结果

研究问题

• RQ1 与标准LSTM相比，将注意力机制直接集成于LSTM单元内部是否能提升序列学习性能？
• RQ2 内部注意力机制集成是否能带来序列任务中更快的收敛速度和更好的泛化能力？
• RQ3 与在LSTM外部应用注意力机制的模型相比，LSTA在准确率和训练效率方面表现如何？
• RQ4 LSTA能否在有效捕捉长期依赖性的同时，同步聚焦于序列中的关键信息？

主要发现

• 在Fashion-MNIST数据集上，LSTA的准确率高于LSTM，且收敛速度更快，如准确率和损失曲线所示。
• 在IMDB情感分析数据集上，LSTA在所有对比模型（包括LSTM和HDBN）中实现了最低错误率和最短运行时间。
• 在SemEval-2014餐厅和笔记本电脑数据集上，LSTA分别达到78.57%的准确率和0.6801的Macro-F1，优于Cabasc、ATAE-LSTM和LSTM。
• 在Twitter方面感知情感分析数据集上，LSTA达到69.94%的准确率和0.6911的Macro-F1，超越所有对比模型。
• LSTA始终优于标准LSTM及在LSTM单元外部应用注意力机制的增强模型，证明了内部集成的优势。
• 结果证实，将注意力机制嵌入LSTM单元可实现更高效、更有效的序列建模。