[论文解读] A Dependency Syntactic Knowledge Augmented Interactive Architecture for End-to-End Aspect-based Sentiment Analysis

Yunlong Liang, Fandong Meng+4 more|arXiv (Cornell University)|Apr 4, 2020

Sentiment Analysis and Opinion Mining参考文献 63被引用 8

一句话总结

本文提出了一种依赖句法知识增强的交互式架构，结合多任务学习，用于端到端方面级情感分析（ABSA）。它引入了一种依赖关系嵌入图卷积网络（DreGcn），以充分挖掘句法关系及其类型，在三个基准数据集上显著优于当前最先进方法，且在引入 BERT 后性能进一步提升。

ABSTRACT

The aspect-based sentiment analysis (ABSA) task remains to be a long-standing challenge, which aims to extract the aspect term and then identify its sentiment orientation.In previous approaches, the explicit syntactic structure of a sentence, which reflects the syntax properties of natural language and hence is intuitively crucial for aspect term extraction and sentiment recognition, is typically neglected or insufficiently modeled. In this paper, we thus propose a novel dependency syntactic knowledge augmented interactive architecture with multi-task learning for end-to-end ABSA. This model is capable of fully exploiting the syntactic knowledge (dependency relations and types) by leveraging a well-designed Dependency Relation Embedded Graph Convolutional Network (DreGcn). Additionally, we design a simple yet effective message-passing mechanism to ensure that our model learns from multiple related tasks in a multi-task learning framework. Extensive experimental results on three benchmark datasets demonstrate the effectiveness of our approach, which significantly outperforms existing state-of-the-art methods. Besides, we achieve further improvements by using BERT as an additional feature extractor.

研究动机与目标

• 为解决现有 ABSA 模型在有效建模句法结构（尤其是依赖关系及其类型）方面的局限性。
• 通过从多个相关任务中联合学习，提升方面术语抽取和方面级情感分类性能。
• 设计一种显式编码依赖关系类型的图神经网络，以获得更丰富的句法表征。
• 通过多任务学习框架中的有效消息传递机制，提升模型性能。
• 通过整合句法知识和来自 BERT 的上下文特征，在标准 ABSA 基准上实现最先进结果。

提出的方法

• 提出一种依赖关系嵌入图卷积网络（DreGcn），将依赖关系及其类型作为图表示中边的特征进行建模。
• 构建一个依赖图，其中词语为节点，依赖关系（带类型）为有向边，实现结构化的消息传递。
• 引入一种多任务学习框架，联合优化方面术语抽取与情感分类，并共享表示。
• 设计一种消息传递机制，实现跨任务的知识迁移，提升相关任务间的表征学习效果。
• 将 BERT 作为额外的特征提取器，以丰富上下文表征，进一步提升性能。
• 采用统一的标注方案，将端到端 ABSA 任务建模为序列标注问题，联合预测方面和情感。

实验结果

研究问题

• RQ1 显式建模依赖关系类型是否能提升方面级情感分析的性能？
• RQ2 结合句法知识的联合多任务学习在多大程度上能提升方面术语抽取与情感分类性能？
• RQ3 一种编码依赖类型信息的图卷积网络是否能在 ABSA 任务中超越普通 GCN？
• RQ4 在句法增强的 ABSA 模型中，引入 BERT 表征能在多大程度上进一步提升性能？
• RQ5 所提出的消息传递机制是否能有效实现方面抽取与情感分类任务之间的知识迁移？

主要发现

• 所提出的 DreGcn 模型在三个基准 ABSA 数据集上显著优于现有最先进方法，取得了新的 SOTA 结果。
• 该模型通过其图卷积架构充分挖掘依赖关系类型，实现了卓越性能。
• 结合所提出消息传递机制的多任务学习框架，有效实现了方面抽取与情感分类之间的知识迁移。
• 将 BERT 作为额外特征提取器的集成，使所有数据集上的性能均进一步提升。
• 消融实验验证了依赖关系类型和消息传递机制在提升模型性能方面的有效性。
• 案例研究显示，该模型能正确捕捉复杂的句法依赖关系，如涉及观点词和方面术语的多跳关系。