[论文解读] Jointly Modeling Aspect and Sentiment with Dynamic Heterogeneous Graph Neural Networks

Shu Liu, Wei Li+3 more|arXiv (Cornell University)|Apr 14, 2020

Sentiment Analysis and Opinion Mining参考文献 33被引用 7

一句话总结

该论文提出了一种动态异构图神经网络（DHGNN），通过将词语和情感标签均视为图中的节点，联合建模方面抽取与情感分类，实现了方面与情感之间的显式、迭代交互。该模型在基准数据集上表现更优，尤其在涉及多个观点或无观点方面的复杂案例中优于当前最先进方法。

ABSTRACT

Target-Based Sentiment Analysis aims to detect the opinion aspects (aspect extraction) and the sentiment polarities (sentiment detection) towards them. Both the previous pipeline and integrated methods fail to precisely model the innate connection between these two objectives. In this paper, we propose a novel dynamic heterogeneous graph to jointly model the two objectives in an explicit way. Both the ordinary words and sentiment labels are treated as nodes in the heterogeneous graph, so that the aspect words can interact with the sentiment information. The graph is initialized with multiple types of dependencies, and dynamically modified during real-time prediction. Experiments on the benchmark datasets show that our model outperforms the state-of-the-art models. Further analysis demonstrates that our model obtains significant performance gain on the challenging instances under multiple-opinion aspects and no-opinion aspect situations.

研究动机与目标

• 为解决基于目标的情感分析（TBSA）中流水线方法和浅层联合建模方法的局限性，后者存在错误传播和任务间交互不明确的问题。
• 通过异构图结构显式建模方面抽取与情感分类之间的动态关联。
• 提升对无情感关联方面（no-opinion cases）及复杂多观点场景的检测能力。
• 利用句法和位置边捕捉方面与观点词之间的长距离依赖关系。
• 提供一种可解释的、在预测过程中动态演化的图机制，以增强跨任务推理能力。

提出的方法

• 模型构建一个动态异构图，将普通词语和情感标签视为不同类型的节点。
• 初始图边通过句法和位置依赖关系构建，以建模词语之间的长距离关系。
• 在推理过程中，利用高置信度的情感预测结果，动态地在观点词与情感节点之间添加边，实现图结构的迭代更新。
• 使用异构门控图神经网络（HG-GNN）在不同类型的节点和边之间传递消息，通过门控机制缓解过平滑问题。
• 图结构在多轮预测迭代中逐步优化，使后续预测能够关注先前预测出的情感信息。
• 模型采用BIO标注法识别方面边界，使用POS/NEG/NEU标签进行情感分类，并对两个任务进行联合优化。

实验结果

研究问题

• RQ1 动态异构图能否显式建模TBSA中方面抽取与情感分类之间的相互依赖关系？
• RQ2 引入句法和位置依赖关系在多长距离上能提升方面与情感的对齐效果？
• RQ3 模型能否有效检测并排除与任何情感无关的实体（即无观点方面）？
• RQ4 迭代图结构优化机制是否能提升在具有多个观点方面的复杂样本上的性能？
• RQ5 与静态图或共享层建模相比，动态图机制在可解释性和准确性方面表现如何？

主要发现

• 所提模型在三个SemEval基准数据集上达到最先进性能，优于使用相同训练数据的现有方法。
• 在涉及多个观点方面的复杂样本上，模型性能显著提升，展现出对冲突情感关系更优的建模能力。
• 模型能成功排除如句子中'it'为真正情感目标时的' tech '等无关联实体，避免产生虚假方面预测。
• 动态图机制使后续预测能借助早期情感预测结果，提升对复杂依赖关系的推理能力。
• 消融实验表明，句法/位置依赖图结构与动态图优化机制均对性能提升有显著贡献。
• 即使与使用大量外部数据的模型相比，该模型仍表现出具有竞争力的性能，凸显其数据效率优势。