[论文解读] Bidirectional Machine Reading Comprehension for Aspect Sentiment Triplet Extraction

Shaowei Chen, Yu Wang+2 more|arXiv (Cornell University)|Mar 13, 2021

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

本文提出了一种用于方面情感三元组抽取（ASTE）的双向机器阅读理解（BMRC）框架，将该任务转化为多轮MRC过程，采用非限制性、限制性和情感分类查询。通过利用双向推理——先抽取方面再抽取观点，反之亦然——模型捕捉了复杂关系并提升了三元组抽取性能，在四个基准数据集上实现了最先进（SOTA）的性能表现。

ABSTRACT

Aspect sentiment triplet extraction (ASTE), which aims to identify aspects from review sentences along with their corresponding opinion expressions and sentiments, is an emerging task in fine-grained opinion mining. Since ASTE consists of multiple subtasks, including opinion entity extraction, relation detection, and sentiment classification, it is critical and challenging to appropriately capture and utilize the associations among them. In this paper, we transform ASTE task into a multi-turn machine reading comprehension (MTMRC) task and propose a bidirectional MRC (BMRC) framework to address this challenge. Specifically, we devise three types of queries, including non-restrictive extraction queries, restrictive extraction queries and sentiment classification queries, to build the associations among different subtasks. Furthermore, considering that an aspect sentiment triplet can derive from either an aspect or an opinion expression, we design a bidirectional MRC structure. One direction sequentially recognizes aspects, opinion expressions, and sentiments to obtain triplets, while the other direction identifies opinion expressions first, then aspects, and at last sentiments. By making the two directions complement each other, our framework can identify triplets more comprehensively. To verify the effectiveness of our approach, we conduct extensive experiments on four benchmark datasets. The experimental results demonstrate that BMRC achieves state-of-the-art performances.

研究动机与目标

• 为在统一框架中联合抽取方面、观点表达和情感提供解决方案。
• 建模方面与观点表达之间复杂且非平凡的关系，包括一对多、多对一和重叠情形。
• 通过联合学习利用检测到的方面-观点关系来改进情感分类。
• 通过同时支持方面优先和观点优先的推理路径，克服单向抽取的局限性。
• 将ASTE形式化为多轮机器阅读理解任务，以更好地捕捉任务间的依赖关系。

提出的方法

• 将ASTE任务形式化为包含三种查询类型的多轮机器阅读理解（MTMRC）任务：非限制性抽取、限制性抽取和情感分类。
• 非限制性查询用于识别成对中的第一个实体（方面或观点表达），而限制性查询则利用第一个实体作为先验知识来定位第二个实体。
• 双向MRC结构支持两种推理方向：一种从方面开始（A→O），另一种从观点表达开始（O→A），实现互补性抽取。
• 情感分类轮次使用提取出的方面-观点对作为上下文，以预测对应的情感极性。
• 该框架在所有三轮中采用联合学习，使关系能够指导情感分类。
• 使用BERT作为基础编码器以捕捉上下文表示，尽管即使不使用BERT，模型性能依然出色。

实验结果

研究问题

• RQ1 将ASTE转化为多轮MRC任务是否能提升方面、观点表达和情感的联合抽取性能？
• RQ2 与单向方法相比，从方面或观点表达出发的双向推理如何增强三元组抽取性能？
• RQ3 关系感知的情感分类与基于查询的交互在多大程度上提升了情感分类的准确性？
• RQ4 所提出的查询设计在多大程度上有助于捕捉复杂方面-观点关系，如重叠或嵌套结构？
• RQ5 BERT与所提出的架构创新（如双向MRC、查询类型）对整体性能的相对贡献如何？

主要发现

• BMRC模型在四个基准数据集上均达到最先进性能：14-Lap数据集F1为59.27%，14-Res为70.69%，15-Res为61.05%，16-Res为68.13%。
• 双向MRC结构显著提升性能，两个单向变体（'Ours w/o AO' 和 'Ours w/o OA'）因抽取路径存在偏差而表现较差。
• 移除关系感知情感分类（'Ours w/o REQ'）导致方面-观点对和三元组抽取F1显著下降，证明关系能有效增强情感分类。
• 即使不使用BERT，该模型在三元组抽取上仍比TSF平均高出8.15% F1，表明架构创新的贡献超过BERT本身。
• 完整模型相比' Ours w/o REQ'提升10.4% F1，表明双向MRC与查询设计的结合带来了最大的性能增益。