[论文解读] Context-Guided BERT for Targeted Aspect-Based Sentiment Analysis

Zhengxuan Wu, Desmond C. Ong|arXiv (Cornell University)|Oct 15, 2020

Sentiment Analysis and Opinion Mining参考文献 53被引用 15

一句话总结

本文提出Context-Guided BERT（CG-BERT）以及一种新型的准注意力CG-BERT（QACG-BERT）模型，通过将上下文信息整合到自注意力机制中，以增强目标方面的情感分析（TABSA）。通过引入上下文引导的softmax注意力和具备减法能力的组合式准注意力机制，QACG-BERT在SentiHood和SemEval-2014数据集上实现了最先进性能，F1分数超越先前模型，并展现出更优的上下文感知注意力学习能力。

ABSTRACT

Aspect-based sentiment analysis (ABSA) and Targeted ASBA (TABSA) allow finer-grained inferences about sentiment to be drawn from the same text, depending on context. For example, a given text can have different targets (e.g., neighborhoods) and different aspects (e.g., price or safety), with different sentiment associated with each target-aspect pair. In this paper, we investigate whether adding context to self-attention models improves performance on (T)ABSA. We propose two variants of Context-Guided BERT (CG-BERT) that learn to distribute attention under different contexts. We first adapt a context-aware Transformer to produce a CG-BERT that uses context-guided softmax-attention. Next, we propose an improved Quasi-Attention CG-BERT model that learns a compositional attention that supports subtractive attention. We train both models with pretrained BERT on two (T)ABSA datasets: SentiHood and SemEval-2014 (Task 4). Both models achieve new state-of-the-art results with our QACG-BERT model having the best performance. Furthermore, we provide analyses of the impact of context in the our proposed models. Our work provides more evidence for the utility of adding context-dependencies to pretrained self-attention-based language models for context-based natural language tasks.

研究动机与目标

• 通过使BERT模型的注意力机制具备上下文感知能力，提升目标方面情感分析（TABSA）的性能。
• 针对标准softmax注意力无法建模减法或组合式注意力的局限性，通过引入带有负权重的准注意力机制加以解决。
• 探究上下文如何影响序列建模中情感分析的注意力分布与模型决策。
• 通过微调预训练BERT的网络结构改进，实现在TABSA基准测试中的最先进性能。

提出的方法

• 将一种上下文感知的Transformer模型改造为CG-BERT，其利用上下文引导的softmax注意力动态调整基于目标和方面上下文的注意力权重。
• 提出一种新型模型QACG-BERT，可学习准注意力权重，支持负注意力值，从而实现减法与组合式注意力机制。
• 引入双向门控因子λ_A^h，控制上下文是以正向还是负向方式影响注意力，实现对无关标记的动态抑制。
• 将注意力形式化为普通自注意力A_Self-Attn^h与上下文引导的准注意力A_Quasi-Attn^h的组合，通过可学习门控机制融合生成最终注意力Â^h。
• 在SentiHood和SemEval-2014（任务4）上端到端训练两个模型，使用微调后的BERT作为基础编码器。
• 采用梯度敏感性分析与注意力可视化方法，解释模型行为并验证上下文感知注意力学习的有效性。

实验结果

研究问题

• RQ1 将上下文整合到BERT注意力机制中，能否提升其在目标方面情感分析任务上的性能？
• RQ2 通过准注意力机制允许负注意力权重，能否改善TABSA中复杂情感依赖关系的建模？
• RQ3 上下文引导的注意力机制如何影响情感分类中的注意力分布与模型可解释性？
• RQ4 在上下文感知的TABSA模型中，附加的辅助句子在多大程度上影响模型性能？

主要发现

• QACG-BERT在SentiHood和SemEval-2014（任务4）数据集上均实现了最先进性能，F1分数超越先前的SOTA模型。
• QACG-BERT模型能够为语境相关词汇（如价格方面中的'租'和'更便宜'）分配更高的梯度重要性，并正确识别出针对特定目标的情感线索，如LOC1的'costs'和LOC2的'cheap'。
• 准注意力的可视化显示，模型成功学习到了负注意力权重，尤其体现在如'nice'这类在价格语境中情感为负面的词语上，从而实现对这些标记的弱化处理。
• 双向门控因子λ_A^h能够学习调节上下文影响，其值略偏负，使模型可有效抑制无关或具有误导性的注意力头。
• 最终注意力矩阵Â^h同时包含正负权重，证明模型具备减法注意力能力，而这是标准softmax注意力所不具备的。
• 尽管在某些情况下指标略有下降，但模型在使用附加辅助句子进行训练时仍保持强劲性能，表明其对输入扰动具有鲁棒性。