[论文解读] KESA: A Knowledge Enhanced Approach For Sentiment Analysis

Qinghua Zhao, Shuai Ma+1 more|arXiv (Cornell University)|Feb 24, 2022

Topic Modeling被引用 6

一句话总结

KESA 提出两种轻量级、知识增强的辅助任务——情感词完形填空（SWC）和条件情感预测（CSP），在微调过程中集成，以在不掩盖情感词或依赖大规模后训练数据的情况下提升情感分析性能。该方法在各项任务上持续优于 BERT 和知识增强模型，在单个任务上最高提升 0.86%，在 MR 数据集上提升 0.76%，参数量增加极少，且对词典准确率的依赖性降低。

ABSTRACT

Though some recent works focus on injecting sentiment knowledge into pre-trained language models, they usually design mask and reconstruction tasks in the post-training phase. In this paper, we aim to benefit from sentiment knowledge in a lighter way. To achieve this goal, we study sentence-level sentiment analysis and, correspondingly, propose two sentiment-aware auxiliary tasks named sentiment word cloze and conditional sentiment prediction. The first task learns to select the correct sentiment words within the input, given the overall sentiment polarity as prior knowledge. On the contrary, the second task predicts the overall sentiment polarity given the sentiment polarity of the word as prior knowledge. In addition, two kinds of label combination methods are investigated to unify multiple types of labels in each task. We argue that more information can promote the models to learn more profound semantic representation. We implement it in a straightforward way to verify this hypothesis. The experimental results demonstrate that our approach consistently outperforms pre-trained models and is additive to existing knowledge-enhanced post-trained models. The code and data are released at https://github.com/lshowway/KESA.

研究动机与目标

• 减少对大规模后训练语料的依赖，并避免在知识增强的预训练模型中因掩盖情感词而导致的信息损失。
• 通过将词语情感视为输入先验而非真实标签，降低对高精度情感词典的依赖。
• 通过在微调阶段整合情感知识，利用两种新颖的辅助任务，提升句子级情感分类性能。
• 探究有效的标签组合策略（联合与条件）在辅助任务中统一多类型情感标签的效果。
• 证明轻量级、知识增强的微调方法可超越标准及现有知识增强的预训练模型。

提出的方法

• 提出情感词完形填空（SWC）：给定一个情感词被掩盖的句子，以及 K+1 个选项（1 个正确，K 个错误），模型根据整体句子的情感极性选择正确的感情词。
• 引入条件情感预测（CSP）：模型基于输入中特定词语的情感极性，预测句子级情感极性，将词语情感视为输入上下文。
• 采用两种标签组合方法——联合概率与条件概率，统一每个辅助任务中的多个情感标签。
• 仅在微调阶段集成两种辅助任务，避免额外的后训练，从而保持推理效率。
• 避免将情感词替换为 'MASK' 标记，以防止语义扭曲和信息损失。
• 在主任务损失上添加辅助任务损失，采用平衡权重，最优性能在低辅助损失权重时实现（例如 0.01）。

实验结果

研究问题

• RQ1 在微调阶段注入情感知识的辅助任务是否能优于后训练方法？
• RQ2 将词语情感视为输入先验而非输出标签，是否能降低对词典质量的依赖并提升模型鲁棒性？
• RQ3 联合与条件的标签组合策略在多标签情感辅助任务中如何影响性能？
• RQ4 轻量级、仅在微调阶段使用的辅助任务是否能在不增加推理成本或不依赖领域特定数据的情况下实现一致性能提升？
• RQ5 在知识增强的微调中，主任务损失与辅助任务损失的最佳平衡点是什么？

主要发现

• KESA 在 MR 数据集上实现 0.76% 的绝对提升，SST2 上为 0.38%，SST5 上为 0.72%，IMDB 上为 0.1%，均优于 BERT。
• 仅使用 SWC 任务时，在部分数据集上性能最高提升 0.7%，表明词级情感监督具有显著价值。
• 仅使用 CSP 任务时，最大提升达 0.86%，表明从词到句子的情感建模有助于主任务优化。
• 结合 SWC 和 CSP 并非总能提升性能，表明可能存在负迁移或任务竞争，但 KESA 整体仍优于基线模型。
• 条件标签组合在大多数设置下均优于联合组合，尤其在 SentiLARE 上表现更优，建议将其作为默认策略。
• 与标准 BERT 相比，模型参数量仅增加约 0.7%，计算开销极低，主要得益于辅助任务中输出空间较小。