[论文解读] GRACE: Gradient Harmonized and Cascaded Labeling for Aspect-based Sentiment Analysis

Huaishao Luo, Lei Ji+3 more|arXiv (Cornell University)|Sep 22, 2020

Sentiment Analysis and Opinion Mining参考文献 45被引用 4

一句话总结

本文提出 GRACE，一种用于方面级情感分析的级联标注框架，通过多头注意力机制利用方面术语标签来增强情感极性预测，同时通过梯度和谐损失缓解类别不平衡问题。该模型通过增强方面术语之间的交互并平衡训练信号，在多个基准数据集上实现了最先进性能。

ABSTRACT

In this paper, we focus on the imbalance issue, which is rarely studied in aspect term extraction and aspect sentiment classification when regarding them as sequence labeling tasks. Besides, previous works usually ignore the interaction between aspect terms when labeling polarities. We propose a GRadient hArmonized and CascadEd labeling model (GRACE) to solve these problems. Specifically, a cascaded labeling module is developed to enhance the interchange between aspect terms and improve the attention of sentiment tokens when labeling sentiment polarities. The polarities sequence is designed to depend on the generated aspect terms labels. To alleviate the imbalance issue, we extend the gradient harmonized mechanism used in object detection to the aspect-based sentiment analysis by adjusting the weight of each label dynamically. The proposed GRACE adopts a post-pretraining BERT as its backbone. Experimental results demonstrate that the proposed model achieves consistency improvement on multiple benchmark datasets and generates state-of-the-art results.

研究动机与目标

• 解决在将方面术语抽取与情感分类建模为序列标注任务时，尚未充分探索的类别不平衡问题。
• 通过级联架构建模方面术语之间的交互，以改进情感极性标注。
• 通过将情感极性标注基于预测的方面术语边界，增强对情感相关标记的关注。
• 将梯度和谐损失从目标检测任务扩展至方面级情感分析中的序列标注任务。
• 通过端到端训练结合后预训练与领域微调，实现在方面术语-情感极性联合抽取任务上的最先进性能。

提出的方法

• GRACE 采用级联标注架构，其中 ATE 分支输出的方面术语标签被用作 ASC 分支的输入，以实现方面术语之间的交互。
• ASC 分支使用堆叠的多头注意力机制，以关注方面术语并从上下文角度改善情感预测。
• 应用梯度和谐损失（GHL）动态调整每个标签的损失权重，降低频繁的 'O' 标签的主导影响，提升对罕见方面术语的训练效果。
• 模型采用后预训练的 BERT 主干网络获取上下文表示，且 ATE 与 ASC 分支共享底层参数。
• 应用虚拟对抗训练与领域特定的后训练，以进一步提升模型在目标数据集上的泛化能力与性能。
• 联合序列标注框架将 ATE 与 ASC 视为并行的序列标注任务，避免级联模型中误差传播的问题。

实验结果

研究问题

• RQ1 如何有效建模方面术语之间的交互，以提升方面级情感分析中的情感极性分类性能？
• RQ2 在 ABSA 的序列标注任务中，类别不平衡在多大程度上影响模型性能，又该如何缓解？
• RQ3 原本用于目标检测的梯度和谐化方法，能否有效适配至 ABSA 中的序列标注任务，以提升对罕见标签的学习效果？
• RQ4 一种基于方面术语预测条件化情感标注的级联标注策略，是否能优于独立或联合标注策略？
• RQ5 虚拟对抗训练与领域特定后训练在提升模型鲁棒性与泛化能力方面有何贡献？

主要发现

• GRACE 在 SemEval-14 笔记本电脑数据集上达到 70.71% 的 F1 分数，在餐厅数据集上达到 78.07%，优于无级联标注的 BASE 模型（分别为 68.35% 和 76.76%）。
• 消融研究证实，级联标注策略通过促进术语间交互并增强对情感相关标记的关注，显著提升了性能。
• 梯度和谐损失显著降低了主导 'O' 标签的影响，表现为对罕见方面术语的性能提升以及更均衡的梯度分布。
• 案例研究显示，GRACE 即使在对比度较低的情况下也能正确识别情感，证明了级联标注与损失重加权的有效性。
• 采用虚拟对抗训练与领域后训练的模型进一步提升了性能，表明稳健训练与领域适应具有显著优势。
• 结果证实，所提出的框架有效解决了标签不平衡与方面术语交互问题，实现了在多个基准数据集上的持续性能提升。