[论文解读] Supervised Prototypical Contrastive Learning for Emotion Recognition in Conversation

Xiaohui Song, Longtao Huang+2 more|arXiv (Cornell University)|Oct 17, 2022

Sentiment Analysis and Opinion Mining被引用 5

一句话总结

该论文提出了一种新型损失函数——监督原型对比学习（SPCL），用于对话情绪识别（ERC），通过基于原型的对比学习缓解类别不平衡问题，并降低对大批次大小的依赖。通过将原型网络与监督对比学习相结合，并引入基于距离的难度度量函数的课程学习策略，SPCL在IEMOCAP、MELD和EmoryNLP基准上实现了最先进性能，展现出对类别不平衡和小批次大小的强鲁棒性。

ABSTRACT

Capturing emotions within a conversation plays an essential role in modern dialogue systems. However, the weak correlation between emotions and semantics brings many challenges to emotion recognition in conversation (ERC). Even semantically similar utterances, the emotion may vary drastically depending on contexts or speakers. In this paper, we propose a Supervised Prototypical Contrastive Learning (SPCL) loss for the ERC task. Leveraging the Prototypical Network, the SPCL targets at solving the imbalanced classification problem through contrastive learning and does not require a large batch size. Meanwhile, we design a difficulty measure function based on the distance between classes and introduce curriculum learning to alleviate the impact of extreme samples. We achieve state-of-the-art results on three widely used benchmarks. Further, we conduct analytical experiments to demonstrate the effectiveness of our proposed SPCL and curriculum learning strategy. We release the code at https://github.com/caskcsg/SPCL.

研究动机与目标

• 为解决对话情绪识别（ERC）数据集中少数类别在小批量中正样本不足的问题。
• 降低监督对比学习对大批次大小的依赖，以减少计算成本并提升可扩展性。
• 缓解因文本线索不足而导致难以分类的极端或模糊样本所引发的性能下降。
• 通过引入基于学习到的难度度量函数、从易到难调度训练数据的课程学习策略，提升模型泛化能力和训练稳定性。
• 采用轻量级、高效的训练策略，在标准ERC基准上实现最先进性能。

提出的方法

• SPCL引入了一种基于原型的对比学习机制，其中每个类别维护一个表示队列，并在每个训练步骤中，从队列中采样的表示计算出每个类别的临时原型向量。
• 损失函数使用这些原型向量作为各自类别的正样本，其余所有原型作为负样本，确保每个样本在批次中至少有一个正样本和多个负样本。
• 设计了一种基于距离的难度度量函数，通过类间与类内距离对训练样本进行排序，识别出靠近决策边界的困难样本。
• 实施了一种基于采样的课程学习策略，随着训练轮次的推进，逐步提高困难样本的采样概率，实现在训练过程中平滑的难度递进。
• 将该方法与SimCSE（一种对比预训练模型）结合，以利用其强大的上下文表示能力，同时在SPCL和课程学习的训练过程中保持高效。
• 训练过程采用基于算术级数的动态采样调度，以控制每个训练轮次中易样本与难样本的比例。

实验结果

研究问题

• RQ1 基于原型的对比学习方法是否能在不依赖大批次大小的前提下，有效缓解类别不平衡ERC数据集中的性能下降？
• RQ2 在类别不平衡数据上，所提出的SPCL损失与标准监督对比学习（SupCon）相比，在准确率和批次大小敏感性方面表现如何？
• RQ3 基于距离的难度度量函数是否能可靠识别ERC中的困难样本？将其与课程学习结合是否能提升模型泛化能力？
• RQ4 SPCL与课程学习的结合是否能在多个标准ERC基准上持续带来性能提升？
• RQ5 所提出的方法在多大程度上减轻了大批次对比学习在ERC中带来的计算负担？

主要发现

• SPCL在三个主要ERC基准上实现了最先进性能：IEMOCAP（准确率69.03%）、MELD（准确率74.12%）和EmoryNLP（准确率85.67%），优于现有方法。
• 在类别不平衡的IEMOCAP数据集上，SPCL在批次大小低至4时仍保持稳定性能（准确率68.48%），而SupCon在相同条件下准确率下降5.63%。
• SPCL对批次大小的敏感度显著降低，当批次大小从32降至4时，准确率仅下降0.82%，而SupCon下降5.63%。
• 由难度度量函数引导的课程学习策略提升了训练稳定性，防止了对简单样本的过拟合，表现为更平滑的损失曲线和更好的泛化能力。
• 定性分析表明，难度度量函数正确地对样本进行了排序，将最简单的20%样本置于类别中心，最困难的20%样本置于类别边界附近。
• 消融实验表明，SPCL与课程学习策略在性能提升上均具有独立贡献，并存在协同效应，其中SPCL在处理长尾类别分布方面尤为有效。