[论文解读] From Independent Prediction to Re-ordered Prediction: Integrating Relative Position and Global Label Information to Emotion Cause Identification

Zixiang Ding, Huihui He+2 more|arXiv (Cornell University)|Jun 4, 2019

Sentiment Analysis and Opinion Mining参考文献 18被引用 14

一句话总结

本文提出了一种新颖的神经网络模型，通过重新排序预测框架，整合文本内容、情感从句的相对位置以及动态全局标签信息，以增强情感原因识别。通过引入相对位置增强嵌入（PAE），并根据与情感从句的距离重新排序从句，该模型在基准数据集上实现了最先进性能，相较于独立预测方法F1提升4.78%，相较于上限基线方法F1提升5.04%。

ABSTRACT

Emotion cause identification aims at identifying the potential causes that lead to a certain emotion expression in text. Several techniques including rule based methods and traditional machine learning methods have been proposed to address this problem based on manually designed rules and features. More recently, some deep learning methods have also been applied to this task, with the attempt to automatically capture the causal relationship of emotion and its causes embodied in the text. In this work, we find that in addition to the content of the text, there are another two kinds of information, namely relative position and global labels, that are also very important for emotion cause identification. To integrate such information, we propose a model based on the neural network architecture to encode the three elements ($i.e.$, text content, relative position and global label), in an unified and end-to-end fashion. We introduce a relative position augmented embedding learning algorithm, and transform the task from an independent prediction problem to a reordered prediction problem, where the dynamic global label information is incorporated. Experimental results on a benchmark emotion cause dataset show that our model achieves new state-of-the-art performance and performs significantly better than a number of competitive baselines. Further analysis shows the effectiveness of the relative position augmented embedding learning algorithm and the reordered prediction mechanism with dynamic global labels.

研究动机与目标

• 为解决情感原因识别中独立预测方法存在的局限性，即全局标签信息和相对位置信息未被充分利用。
• 通过将相对位置作为可学习嵌入而非简单的位置编码，提升模型性能。
• 通过将任务转化为具有动态全局标签特征的重新排序预测问题，建模从句间依赖关系。
• 证明同时整合相对位置与全局标签信息可显著提升情感原因识别的性能。
• 提供一种统一的端到端神经架构，联合编码内容、相对位置与全局标签信息。

提出的方法

• 引入一种相对位置增强嵌入（PAE）模块，采用编码-解码架构，在不增加特征维度的前提下学习位置感知表示。
• 根据从句与情感从句的绝对距离对文档中的从句进行重排，优先对距离更近的从句进行预测。
• 将独立预测任务转化为序列化、重新排序的预测问题，通过动态全局标签（DGL）特征使早期预测结果影响后续预测。
• 将前序从句的预测标签作为后续预测的上下文特征，使模型能够强制实现文档级一致性。
• 采用双向LSTM进行从句编码，并以端到端可训练的方式集成PAE与DGL特征。
• 在训练阶段使用真实标签，在推理阶段使用预测标签生成DGL特征，以模拟真实应用场景。

实验结果

研究问题

• RQ1 能否有效将相对位置信息编码进词嵌入，以超越简单的位置编码，从而提升情感原因识别性能？
• RQ2 与独立预测相比，根据与情感从句的距离对从句进行重排是否能提升模型性能？
• RQ3 从先前预测的从句中引入动态全局标签信息，能在多大程度上提升预测准确率？
• RQ4 与传统位置嵌入和从句级位置编码相比，所提出的PAE方法在性能与泛化能力方面表现如何？
• RQ5 在DGL机制中，使用真实全局标签而非预测标签时，性能提升的上限是多少？

主要发现

• 所提出的PAE方法优于位置嵌入与从句级位置编码，证明其在整合相对位置信息方面更具有效性。
• 通过按相对位置重排从句，相较于独立预测方法，F1提升4.78%（F1：0.7242 vs. 0.6764），证明预测顺序的重要性。
• 在推理阶段使用真实全局标签生成DGL特征时，F1达到0.7633，较使用预测标签的模型（F1：0.7129）高出5.04%，表明全局标签集成具有显著潜力。
• 该模型在基准情感原因识别数据集上实现了新的最先进性能，显著优于多个竞争性基线模型。
• 消融实验表明，PAE模块以及结合动态全局标签的重新排序预测机制对模型性能提升均至关重要。
• 结果表明，情感原因识别中的从句间依赖关系较强，可通过在重新排序序列中进行动态标签传播有效建模。