[论文解读] Attentional Encoder Network for Targeted Sentiment Classification

Youwei Song, Jiahai Wang+3 more|arXiv (Cornell University)|Feb 25, 2019

Topic Modeling参考文献 26被引用 197

一句话总结

本文提出 Attentional Encoder Network (AEN)，一种非递归、基于注意力的目标情感分类模型，辅以标签平滑，并结合 BERT 实现了最先进的结果。

ABSTRACT

Targeted sentiment classification aims at determining the sentimental tendency towards specific targets. Most of the previous approaches model context and target words with RNN and attention. However, RNNs are difficult to parallelize and truncated backpropagation through time brings difficulty in remembering long-term patterns. To address this issue, this paper proposes an Attentional Encoder Network (AEN) which eschews recurrence and employs attention based encoders for the modeling between context and target. We raise the label unreliability issue and introduce label smoothing regularization. We also apply pre-trained BERT to this task and obtain new state-of-the-art results. Experiments and analysis demonstrate the effectiveness and lightweight of our model.

研究动机与目标

• 推动目标情感分类，并解决基于 RNN 的编码器的局限性。
• 提出一种轻量级的带注意力的编码器，在不使用循环的情况下建模目标与上下文的交互。
• 引入标签平滑正则化，以应对中性情感标签的不可靠性。
• 证明整合 BERT 可以提升性能并提供模型大小分析。

提出的方法

• 使用 GloVe 或 BERT 对词进行嵌入（AEN-GloVe 与 AEN-BERT）。
• 使用一个并行的带注意力的编码器，包含 intra-MHA（上下文自注意力）和 inter-MHA（上下文到目标），随后是一个目标特定的 MHA。
• 应用逐点卷积变换（PCT）来细化表示。
• 通过平均汇聚和一个全连接层进行分类，使用 softmax。
• 结合标签平滑正则化（LSR）以缓解中性标签的不可靠性；通过交叉熵 + LSR + L2 正则化进行优化。

实验结果

研究问题

• RQ1 非递归的带注意力编码器是否能够有效建模目标与上下文之间的交互以进行目标情感分类？
• RQ2 标签平滑是否提升对不可靠中性标签的鲁棒性？
• RQ3 在目标情感任务中，BERT增强的 AEN 与标准 BERT 基线和基于 RNN 的模型相比如何？
• RQ4 与递归架构相比，模型规模和计算效率的权衡是什么？

主要发现

• AEN-BERT 和 AEN-GloVe 在 Twitter、Restaurant 和 Laptop 数据集上实现了具有竞争力或更优的准确率和 Macro-F1。
• AEN-GloVe 搭配所提出的组件在没有 PCT、MHA 或 LSR 的消融实验中表现较差，强调了每个模块的重要性。
• BERT-SPC 与 AEN-BERT 实现了显著提升，其中 AEN-BERT 超过 BERT-SPC，突出显示在预训练模型之上任务定制架构的好处。
• AEN-GloVe 是递归模型的轻量级替代方案，参数数量和内存使用更小。
• 标签平滑（LSR）显著提升性能，尤其是由于中性标签的不可靠性。
• 基于 BERT 的变体显示出强劲的提升，表明任务特定的下游架构的价值。