[论文解读] EmotionX-KU: BERT-Max based Contextual Emotion Classifier

Kisu Yang, Dongyub Lee+3 more|arXiv (Cornell University)|Jun 27, 2019

Sentiment Analysis and Opinion Mining参考文献 21被引用 24

一句话总结

该论文提出 EmotionX-KU，一种基于 BERT-Max 的上下文情感分类器，通过迁移语言建模和动态最大池化技术，提升对话中的情感检测性能。通过引入后训练、微调以及加权交叉熵损失，该模型在 EmotionX 基准测试中达到最先进性能，在 Friends 和 EmotionPush 数据集上的微 F1 分数最高达 86.3%。

ABSTRACT

We propose a contextual emotion classifier based on a transferable language model and dynamic max pooling, which predicts the emotion of each utterance in a dialogue. A representative emotion analysis task, EmotionX, requires to consider contextual information from colloquial dialogues and to deal with a class imbalance problem. To alleviate these problems, our model leverages the self-attention based transferable language model and the weighted cross entropy loss. Furthermore, we apply post-training and fine-tuning mechanisms to enhance the domain adaptability of our model and utilize several machine learning techniques to improve its performance. We conduct experiments on two emotion-labeled datasets named Friends and EmotionPush. As a result, our model outperforms the previous state-of-the-art model and also shows competitive performance in the EmotionX 2019 challenge. The code will be available in the Github page.

研究动机与目标

• 解决非正式、多轮对话中上下文情感分类的挑战，其中话语含义依赖于上下文环境。
• 缓解情感标注对话数据集中类别不平衡的问题，特别是针对 'Joy' 和 'Sadness' 等罕见情感类别。
• 通过在对话特定语料上进行后训练并在目标数据集上微调，提升情感分类器的领域适应能力。
• 通过结合上下文表征学习与有效的序列建模技术，提升在 EmotionX 共享任务中的性能。

提出的方法

• 模型使用预训练的不区分大小写的 BERT-Base 编码器，包含 12 层、768 个隐藏维度和 12 个注意力头，用于上下文化话语编码。
• 对序列表征应用动态最大池化，生成固定大小的上下文感知话语嵌入，从而有效建模可变长度对话。
• 在领域特定对话数据集（Friends、EmotionPush、Emory）上进行后训练，任务包括下一句预测（NSP）和掩码语言建模（MLM）。
• 通过加权交叉熵损失进行微调，以缓解类别不平衡问题，尤其针对低频情感类别。
• 推理阶段采用五折交叉验证的集成策略，以提升模型鲁棒性与泛化能力。
• 模型采用 Adam 优化器和学习率调度策略进行端到端训练，输入序列最大长度截断为 512 个 token。

实验结果

研究问题

• RQ1 像 BERT 这类可迁移语言模型是否能有效捕捉多轮对话中用于情感分类的上下文依赖关系？
• RQ2 与平均池化相比，动态最大池化在保留情感预测相关上下文特征方面表现如何？
• RQ3 在对话特定语料上进行后训练，对低资源情感类别性能的提升程度如何？
• RQ4 加权交叉熵损失的引入是否显著改善了在类别不平衡情感数据集上的性能？
• RQ5 在 EmotionX 基准上，跨多个折叠的集成学习是否能进一步提升模型泛化能力与鲁棒性？

主要发现

• 当在 Friends 和 EmotionPush 数据集联合训练时，EmotionX-KU 模型在 EmotionPush 数据集上达到 86.3% 的微 F1 分数，优于先前最先进模型。
• 在 Friends 数据集上，当在两个数据集上联合训练时，模型达到 77.5% 的微 F1 分数，展现出跨领域的强大泛化能力。
• 通过后训练和加权损失，模型在罕见情感如 'Joy' 和 'Sadness' 上的性能显著提升，其在 EmotionPush 数据集上的 F1 分数分别达到 61.0% 和 74.7%。
• 在联合训练场景中，动态最大池化始终优于平均池化，尤其在 EmotionPush 数据集上，其微 F1 比平均池化高出 0.6%。
• 采用五折交叉验证的集成模型达到最高性能，表明模型平均能有效提升鲁棒性与泛化能力。
• 在领域特定对话数据上进行后训练，使两个数据集的微 F1 分数均提升 1.5–2.5%，证实其在领域适应中的有效性。