[论文解读] Experiencers, Stimuli, or Targets: Which Semantic Roles Enable Machine Learning to Infer the Emotions?

Laura Oberländer, Kevin Reich+1 more|arXiv (Cornell University)|Nov 3, 2020

Sentiment Analysis and Opinion Mining参考文献 28被引用 8

一句话总结

本文研究了哪些语义角色——体验者、刺激物或目标——最能帮助机器学习模型推断文本中的情绪。通过遮蔽角色填充词并在五个数据集上评估性能，作者发现刺激物和目标携带了最多的与情绪相关的信息，而体验者往往成为混淆因子。角色的位置信息进一步提升了分类性能，尤其是在文学文本中。

ABSTRACT

Emotion recognition is predominantly formulated as text classification in which textual units are assigned to an emotion from a predefined inventory (e.g., fear, joy, anger, disgust, sadness, surprise, trust, anticipation). More recently, semantic role labeling approaches have been developed to extract structures from the text to answer questions like: "who is described to feel the emotion?" (experiencer), "what causes this emotion?" (stimulus), and at which entity is it directed?" (target). Though it has been shown that jointly modeling stimulus and emotion category prediction is beneficial for both subtasks, it remains unclear which of these semantic roles enables a classifier to infer the emotion. Is it the experiencer, because the identity of a person is biased towards a particular emotion (X is always happy)? Is it a particular target (everybody loves X) or a stimulus (doing X makes everybody sad)? We answer these questions by training emotion classification models on five available datasets annotated with at least one semantic role by masking the fillers of these roles in the text in a controlled manner and find that across multiple corpora, stimuli and targets carry emotion information, while the experiencer might be considered a confounder. Further, we analyze if informing the model about the position of the role improves the classification decision. Particularly on literature corpora we find that the role information improves the emotion classification.

研究动机与目标

• 确定哪些语义角色（体验者、刺激物、目标、线索）为文本情绪分类提供了最具信息量的信号。
• 评估体验者的身份、情绪的目标对象或引发情绪的刺激物中，哪一个对情绪类别的预测力最强。
• 评估语义角色的位置信息是否能提升情绪分类性能。
• 探究不同文本领域（如社交媒体与文学）中角色重要性是否存在差异。
• 比较双向LSTM与基于Transformer的模型架构在角色遮蔽与位置线索方面的模型行为差异。

提出的方法

• 在五个标注了至少一个语义角色（体验者、刺激物、目标、线索）的数据集上训练情绪分类模型。
• 系统性地遮蔽输入文本中每个语义角色的填充词，同时保持其余内容不变，以隔离角色特异性贡献。
• 在三种设置下评估模型性能：'原样'（完整输入）、'无'（角色被遮蔽）和'位置'（通过特殊标记指示角色位置）。
• 使用双向LSTM与基于Transformer的模型，比较不同架构下的性能表现，并评估对缺失角色信息的鲁棒性。
• 使用标准指标（如F1-score）在每个数据集的情绪类别上测量性能表现。
• 分析移除每个角色时性能下降的差异，以确定其相对信息量。

实验结果

研究问题

• RQ1 在体验者、刺激物、目标或线索中，哪一个语义角色为情绪分类提供了最具信息量的信号？
• RQ2 语义角色的位置信息是否存在能提升情绪分类性能？
• RQ3 语义角色的贡献在不同文本领域（如社交媒体与文学文本）中是否一致？
• RQ4 角色的重要性是否因模型架构（双向LSTM与Transformer）而异？
• RQ5 当使用上下文嵌入（如Transformer中的）时，模型能否补偿缺失的角色信息？

主要发现

• 刺激物和目标始终携带显著的情绪相关信息，当这些角色被遮蔽时，性能显著下降，尤其在Emotion-Stimulus（ES）和ElectoralTweets（ET）数据集中表现明显。
• 体验者角色常作为混淆因子：在GoodNewsEveryone（GNE）数据集中，遮蔽其内容后性能反而提升，表明模型对特定体验者存在偏差。
• 关于刺激物或线索的位置信息改善了情绪分类性能，尤其在较长的文学文本（如ECA和ES）中，性能提升尤为显著。
• 基于Transformer的模型在所有数据集中均优于双向LSTM，尤其在REMAN和GNE数据集中表现更优，表明上下文表示能缓解对显式角色信息的依赖。
• 在'无'设置下，ES数据集中遮蔽刺激物时性能下降最为严重，凸显了刺激物在该语料中情绪推断的关键作用。
• 线索角色整体影响力较弱，尽管其被遮蔽后性能仍有所下降，表明其对情绪推断有贡献，但并非主要信号。