[论文解读] Modeling Label Semantics for Predicting Emotional Reactions

Radhika Gaonkar, Hee Young Kwon+3 more|arXiv (Cornell University)|Jun 9, 2020

Topic Modeling参考文献 11被引用 5

一句话总结

本论文通过学习到的嵌入表示和标签相关性来建模情绪标签语义，以提升故事中多标签情绪预测的性能。通过在训练中引入标签感知注意力、相关性正则化以及在无标签数据上进行半监督学习，该方法在ROCStories情绪推理基准上相比BERT模型实现了4.9个百分点的F1提升，并创下新的最先进水平。

ABSTRACT

Predicting how events induce emotions in the characters of a story is typically seen as a standard multi-label classification task, which usually treats labels as anonymous classes to predict. They ignore information that may be conveyed by the emotion labels themselves. We propose that the semantics of emotion labels can guide a model's attention when representing the input story. Further, we observe that the emotions evoked by an event are often related: an event that evokes joy is unlikely to also evoke sadness. In this work, we explicitly model label classes via label embeddings, and add mechanisms that track label-label correlations both during training and inference. We also introduce a new semi-supervision strategy that regularizes for the correlations on unlabeled data. Our empirical evaluations show that modeling label semantics yields consistent benefits, and we advance the state-of-the-art on an emotion inference task.

研究动机与目标

• 解决在多标签情绪分类中将情绪标签视为匿名类别所带来的局限性。
• 通过利用情绪标签之间的语义关系（例如，喜悦与悲伤通常互斥）来提升情绪预测性能。
• 通过将标签语义整合到注意力和预测机制中，提升模型的可解释性和一致性。
• 探索利用标签相关性作为半监督信号，在无标签数据上提升泛化性能。
• 通过将标签语义整合到基于BERT的模型中，推动叙事情绪推理任务的最先进水平。

提出的方法

• 将每个情绪标签表示为经过预训练词嵌入（如BERT嵌入）初始化的可学习嵌入向量。
• 使用标签嵌入注意力网络（LEAM）计算标签嵌入与BERT编码的标记表示之间的注意力，生成与标签相关的上下文表示。
• 在训练过程中引入相关性正则化损失，惩罚与已知标签共现模式不一致的预测。
• 通过标签相关性矩阵修改推理 logits，使对某一情绪的置信度能够影响相关情绪的预测。
• 采用一种半监督策略，利用无标签数据来正则化标签相关性模式，从而提升泛化能力。
• 在完整输入（包括故事上下文和标签嵌入作为额外输入标记）上微调BERT。

实验结果

研究问题

• RQ1 建模情绪标签的语义是否能够提升叙事情境下的多标签情绪预测性能？
• RQ2 标签-标签相关性如何影响模型性能与情绪推理中预测的一致性？
• RQ3 能否有效利用标签相关性作为无标签数据上的半监督信号，以提升泛化性能？
• RQ4 通过注意力机制整合标签语义是否能提升模型的可解释性，并使其更符合人类预期的情绪关系？
• RQ5 标签嵌入与相关性建模在情绪推理任务中，相较于标准多标签分类基线，其性能优势在多大程度上得以体现？

主要发现

• 所提出的模型在ROCStories情绪推理数据集上相比BERT基线实现了4.9个百分点的绝对F1提升，达到65.8的新SOTA F1分数。
• 通过嵌入和注意力建模标签语义，使预测更加一致，模型在每条样本上预测的情绪类别数量更多（8,839 vs. 5,024）。
• 在训练和推理中引入标签相关性正则化，使性能相比仅使用标签语义的基线提升了2个F1点。
• 利用标签相关性的半监督学习带来最大性能增益，显著优于所有基线，且经随机化检验确认具有统计显著性。
• 定性分析表明，模型错误预测的置信度分数低于正确标签，提示通过最优阈值设定可进一步提升性能。
• 模型更好地捕捉了语义标签关系，表现为在语义相关的情绪对（如避免同时预测喜悦与悲伤）上预测性能得到改善。