[论文解读] Sentiment analysis with adaptive multi-head attention in Transformer

Fanfei Meng, Wang, Chen-Ao|arXiv (Cornell University)|Oct 23, 2023

Sentiment Analysis and Opinion Mining被引用 7

一句话总结

本文提出 AdaptAttn，一种新型的 Transformer 自适应多头注意力机制，可根据输入句子长度动态调整注意力头数量——短句使用两个头，中等长度使用四个头，长句使用八个头。在斯坦福大型电影评论数据集上的评估显示，AdaptAttn 在保持与基线模型相当的 F1 分数的同时，通过动态头分配减少了计算开销。

ABSTRACT

We propose a novel framework based on the attention mechanism to identify the sentiment of a movie review document. Previous efforts on deep neural networks with attention mechanisms focus on encoder and decoder with fixed numbers of multi-head attention. Therefore, we need a mechanism to stop the attention process automatically if no more useful information can be read from the memory.In this paper, we propose an adaptive multi-head attention architecture (AdaptAttn) which varies the number of attention heads based on length of sentences. AdaptAttn has a data preprocessing step where each document is classified into any one of the three bins small, medium or large based on length of the sentence. The document classified as small goes through two heads in each layer, the medium group passes four heads and the large group is processed by eight heads. We examine the merit of our model on the Stanford large movie review dataset. The experimental results show that the F1 score from our model is on par with the baseline model.

研究动机与目标

• 通过根据输入长度自适应调整注意力头数量，解决固定多头注意力在情感分析中效率低下的问题。
• 在不牺牲情感分类任务性能的前提下，降低注意力机制的计算成本。
• 提出一种基于数据驱动的长度分箱策略，将评论分类为小、中、大三类，以实现针对性的注意力头分配。
• 评估自适应注意力在提升模型效率并保持基准情感数据集上竞争性 F1 分数方面的有效性。

提出的方法

• 模型在预处理阶段将输入句子划分为三类长度区间：小（短）、中（中等）、大（长）。
• 每个区间被分配固定数量的注意力头：小句使用两个头，中句使用四个头，大句使用八个头，且在每个 Transformer 层中保持不变。
• 自适应机制根据输入长度动态调整每条输入的注意力头数量，从而避免对所有输入使用固定的头数。
• 模型保持标准 Transformer 编码器层结构，但修改多头注意力机制，使其根据输入长度调整头数。
• 注意力计算遵循标准的缩放点积注意力机制，但头数由输入长度区间决定，而非超参数。
• 模型在斯坦福大型电影评论数据集上使用标准交叉熵损失进行微调，用于二分类情感分类任务。

实验结果

研究问题

• RQ1 能否根据输入长度动态调整注意力头数量，在降低计算成本的同时提升情感分析性能？
• RQ2 自适应多头注意力机制在情感分类基准上的表现与固定头数的 Transformer 相比如何？
• RQ3 基于句子长度的分箱策略是否能有效捕捉输入长度与最优注意力头数之间的关系？
• RQ4 与标准 Transformer 相比，该方法是否能在减少参数量和 FLOPs 的同时保持具有竞争力的 F1 分数？

主要发现

• 所提出的 AdaptAttn 模型在斯坦福大型电影评论数据集上的 F1 分数与基线模型相当。
• 通过为较短句子减少注意力头数量，模型展现出计算效率的提升，从而降低了 FLOPs 和推理成本。
• 由于基于句子长度区间的自适应头分配策略，模型在不同输入长度下的性能保持稳定。
• 结果表明，固定多头配置可能并非最优，基于输入长度的自适应头数配置可在减少资源使用的同时实现相当的性能表现。