[论文解读] Learning a General Clause-to-Clause Relationships for Enhancing Emotion-Cause Pair Extraction

Hang Chen, Xinyu Yang+1 more|arXiv (Cornell University)|Aug 29, 2022

Advanced Text Analysis Techniques被引用 7

一句话总结

该论文提出EA-GAT，一种新型的句级编码模型，通过多掩码GAT和激活排序（Activation Sort）学习一种新的句间关系——外句关系、句间关系和句内关系，以增强情感-原因对抽取（ECPE）任务。该方法在多个基线模型和嵌入方法上实现了最先进性能，在中文和英文基准测试中F1分数分别提升了2.1%和1.03%。

ABSTRACT

Emotion-cause pair extraction (ECPE) is an emerging task aiming to extract potential pairs of emotions and corresponding causes from documents. Previous approaches have focused on modeling the pair-to-pair relationship and achieved promising results. However, the clause-to-clause relationship, which fundamentally symbolizes the underlying structure of a document, has still been in its research infancy. In this paper, we define a novel clause-to-clause relationship. To learn it applicably, we propose a general clause-level encoding model named EA-GAT comprising E-GAT and Activation Sort. E-GAT is designed to aggregate information from different types of clauses; Activation Sort leverages the individual emotion/cause prediction and the sort-based mapping to propel the clause to a more favorable representation. Since EA-GAT is a clause-level encoding model, it can be broadly integrated with any previous approach. Experimental results show that our approach has a significant advantage over all current approaches on the Chinese and English benchmark corpus, with an average of $2.1\%$ and $1.03\%$.

研究动机与目标

• 为解决情感-原因对抽取（ECPE）中句间关系研究不足的问题，该问题从根本上影响文档结构，但在以往工作中被忽视。
• 定义系统性的、文档级别的句间关系分类体系：外句关系、句间关系和句内关系。
• 开发一种通用的句级编码模型，可与任何现有ECPE框架集成以提升性能。
• 克服以往模型依赖BiLSTM或标准GAT的局限性，这些模型无法有效捕捉长距离句依赖或序列结构。
• 提出一种新颖的基于激活的预处理技术——激活排序（Activation Sort），通过将预测序列与句表示对齐，提升表示的一致性与性能。

提出的方法

• 提出一种新颖的句间关系分类体系：外句关系（不同句子间）、句间关系（同一句子中不同分句间）和句内关系（同一分句内，自影响）。
• 提出增强型GAT（E-GAT），一种多掩码GAT，通过使用独立的注意力掩码，分别对三种句间关系类型建模注意力机制。
• 引入激活排序（Activation Sort）：一种非可微的、基于排序的映射方法，根据预测的情感和原因得分对句表示进行重排序，以增强表示的一致性。
• 将激活排序的输出作为辅助输入输入到第二个E-GAT模块中，使模型能够学习到更丰富、更具上下文一致性的句表示。
• 将EA-GAT作为即插即用的句级编码器集成到现有ECPE流程中，替代或增强先前基于BiLSTM或GAT的编码器。
• 采用端到端训练方式，联合优化情感抽取、原因抽取和对抽取的损失函数，同时保持主网络中的梯度流动。

实验结果

研究问题

• RQ1 如何系统性地定义句间关系，以反映情感文档中潜在的结构层次？
• RQ2 多掩码GAT模型是否能通过区分外句关系、句间关系和句内关系，有效学习句表示？
• RQ3 激活排序机制是否通过将预测序列与子任务输出对齐，提升了句表示的一致性与质量？
• RQ4 EA-GAT在不修改架构的前提下，能否在不同ECPE模型、词嵌入（如BERT、word2vec）以及语言（中文和英文）之间实现良好泛化？
• RQ5 句级编码组件在整体ECPE性能中起到何种作用，尤其是在与对级或词级建模相比时？

主要发现

• 在中文ECPE基准测试中，EA-GAT在所有测试基线上平均F1提升2.1%；在英文RECCON基准测试中，平均F1提升1.03%。
• 情感抽取F1分别提升1.17%（使用BERT）和0.89%（不使用BERT），原因抽取F1分别提升1.77%（使用BERT）和2.75%（不使用BERT），表明在原因抽取任务中增益更显著。
• 在10个独立的ECPE基线上集成EA-GAT后，平均对抽取F1提升2.14%，表明其具备强大的泛化能力。
• 在三种词嵌入类型（word2vec、BERT、RoBERTa）上，EA-GAT的平均F1分别提升1.89%、2.35%和1.03%，表现全面优于所有基线。
• 消融实验表明，多掩码注意力机制和激活排序均对性能有显著贡献，其中后者在对齐预测序列与句表示方面表现尤为突出。
• 案例研究与邻接矩阵分析表明，EA-GAT能有效捕捉长距离和结构化的句依赖关系，尤其在包含多个分句的复杂句中表现优异。