[论文解读] Joint Alignment of Multi-Task Feature and Label Spaces for Emotion Cause Pair Extraction

Shunjie Chen, Xiaochuan Shi+5 more|arXiv (Cornell University)|Sep 9, 2022

Sentiment Analysis and Opinion Mining被引用 15

一句话总结

本文提出 A²Net，一种用于情感原因对抽取（ECPE）的新颖多任务学习框架，通过联合执行特征-任务对齐（FTA）以建模特定任务与共享特征，以及任务间对齐（ITA）以减少 ECPE 及其辅助任务（EE/CE）之间的标签预测不一致性。该方法通过提升特征表示与预测一致性，在所有 ECA 子任务上实现最先进性能，且参数开销极小，无速度损失。

ABSTRACT

Emotion cause pair extraction (ECPE), as one of the derived subtasks of emotion cause analysis (ECA), shares rich inter-related features with emotion extraction (EE) and cause extraction (CE). Therefore EE and CE are frequently utilized as auxiliary tasks for better feature learning, modeled via multi-task learning (MTL) framework by prior works to achieve state-of-the-art (SoTA) ECPE results. However, existing MTL-based methods either fail to simultaneously model the specific features and the interactive feature in between, or suffer from the inconsistency of label prediction. In this work, we consider addressing the above challenges for improving ECPE by performing two alignment mechanisms with a novel A^2Net model. We first propose a feature-task alignment to explicitly model the specific emotion-&cause-specific features and the shared interactive feature. Besides, an inter-task alignment is implemented, in which the label distance between the ECPE and the combinations of EE&CE are learned to be narrowed for better label consistency. Evaluations of benchmarks show that our methods outperform current best-performing systems on all ECA subtasks. Further analysis proves the importance of our proposed alignment mechanisms for the task.

研究动机与目标

• 为解决现有多任务学习方法在 ECPE 中的局限性，即无法同时建模特定任务与共享特征，且存在标签预测不一致问题。
• 通过显式对齐情感特异性、原因特异性与交互特征至其对应任务（EE、CE、ECPE），提升特征学习。
• 通过最小化 ECPE 与 EE 和 CE 预测结果组合之间的标签分布差异，提升 ECPE、EE 与 CE 之间的预测一致性。
• 开发一种轻量化、高效模型，在不增加推理成本的前提下保持高性能。

提出的方法

• A²Net 使用 BERT 作为文档编码器，生成上下文相关的从句表示。
• 采用划分过滤网络（PFN）将编码后的特征划分为三部分：情感特异性、原因特异性与交互特征。
• 情感特异性和交互特征用于情感抽取（EE），原因特异性和交互特征用于原因抽取（CE），三类特征共同用于 ECPE。
• 通过最小化 ECPE 输出概率分布与 EE 和 CE 预测结果乘积之间的双向 Kullback-Leibler（KL）散度，实现任务间对齐，促进标签一致性。
• 模型通过端到端训练，采用结合 EE、CE 和 ECPE 分类头的多任务损失，并引入基于 KL 的正则化以实现任务间对齐。
• 该框架在标准 ECA 基准数据集上进行评估，消融实验验证了两种对齐机制的有效性。

实验结果

研究问题

• RQ1 与共享或并行特征编码相比，显式建模特定任务与共享特征是否能提升 ECPE 性能？
• RQ2 减少 ECPE 与其辅助任务（EE/CE）之间的标签预测不一致性，是否能带来整体性能的提升？
• RQ3 特征-任务对齐与任务间对齐在模型鲁棒性与准确性方面各自贡献多大？
• RQ4 所提出的对齐机制能否在不增加模型参数或推理时间的前提下高效实现？

主要发现

• A²Net 在基准数据集上所有三个 ECA 子任务——情感抽取（EE）、原因抽取（CE）与情感原因对抽取（ECPE）——均达到最先进性能。
• 消融实验表明，若移除特征-任务对齐（FTA）或任务间对齐（ITA），性能显著下降，尤其在 CE 任务上，表明两个组件均至关重要。
• 任务间对齐机制提升了预测一致性：ECPE 与 EE 之间的预测一致性率达到 98.2%，ECPE 与 CE 之间达到 97.8%，优于基线方法 RANKCP。
• 模型保持高效：参数量为 104.97M（略少于 RANKCP），且推理速度相同（195 条文档/秒），证明对齐机制未损害效率。
• 案例研究证实，任务间对齐模块可通过跨任务归一化预测，纠正不一致预测——例如修复 CE 中的假阴性或 ECPE 中的错误配对。
• 特征-任务对齐机制在 CE 任务中尤为有效，当移除 FTA 时性能急剧下降，凸显其在学习鲁棒原因特异性表示中的关键作用。