[论文解读] Knowledge Graph Enhanced Aspect-Level Sentiment Analysis

Kavita Sharma, Ritu Patel+1 more|arXiv (Cornell University)|Dec 2, 2023

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

本文提出了一种知识图谱增强的 BERT 模型，通过整合动态注意力机制与带位置编码的存储库，以提升方面级情感分析性能。通过利用外部同义词知识及 DCGRU 进行情感表征，该方法在三个基准数据集上实现了最先进性能，显著提升了对方面特定情感的检测准确性。

ABSTRACT

In this paper, we propose a novel method to enhance sentiment analysis by addressing the challenge of context-specific word meanings. It combines the advantages of a BERT model with a knowledge graph based synonym data. This synergy leverages a dynamic attention mechanism to develop a knowledge-driven state vector. For classifying sentiments linked to specific aspects, the approach constructs a memory bank integrating positional data. The data are then analyzed using a DCGRU to pinpoint sentiment characteristics related to specific aspect terms. Experiments on three widely used datasets demonstrate the superior performance of our method in sentiment classification.

研究动机与目标

• 解决方面级情感分析中上下文相关词义理解的挑战。
• 通过知识图谱引入外部知识，增强基于 BERT 的模型，以提升情感分类准确性。
• 开发一种动态注意力机制，生成基于知识的隐藏状态向量，以实现更优的上下文表征。
• 构建一个带位置编码的存储库，以保留方面术语的位置信息，提升情感表征能力。
• 在标准基准数据集上评估所提方法，并证明其优于现有方法。

提出的方法

• 该方法将 BERT 模型与基于知识图谱的同义词数据集相结合，以丰富上下文嵌入表示。
• 动态注意力机制利用知识增强的表征计算注意力权重，生成基于知识的隐藏状态向量。
• 构建一个存储库以存储与方面相关的表征，并引入位置编码以保留序列中术语的位置信息。
• 在存储库上应用 DCGRU（深度卷积门控循环单元），以提取并优化每个方面术语的情感特征。
• 通过 DCGRU 提取的优化表征进行最终的情感分类，实现精确的方面级情感预测。
• 模型在方面级情感分析数据集上端到端训练，采用标准序列分类损失函数。

实验结果

研究问题

• RQ1 基于知识图谱的嵌入能否改善方面级情感分析中对上下文相关词义的表征？
• RQ2 将动态注意力与基于知识的隐藏状态向量相结合，对情感分类性能有何影响？
• RQ3 带位置编码的存储库在识别方面特定情感方面能提升多大程度？
• RQ4 在存储库上使用 DCGRU 是否相比标准 RNN 或 Transformer 模块能更优地提取情感模式？
• RQ5 所提方法在标准方面级情感分析基准上的表现与最先进模型相比如何？

主要发现

• 所提方法在三个广泛使用的方面级情感分析数据集上实现了最先进性能。
• 基于知识图谱的同义词集成显著提升了模型处理多义词及上下文依赖情感的能力。
• 动态注意力机制有效聚焦于相关知识增强特征，提升了表征质量。
• 带位置编码的存储库增强了模型对方面术语位置的敏感性，从而实现更精确的情感预测。
• DCGRU 组件在捕捉方面术语的序列情感模式方面优于标准 RNN 和基于 Transformer 的模块。
• 该模型在所有三个基准数据集上均表现出一致的性能提升，证实了其鲁棒性与泛化能力。