[论文解读] Addressing Ambiguity of Emotion Labels Through Meta-Learning

Takuya Fujioka, Dario Bertero+2 more|arXiv (Cornell University)|Nov 6, 2019

Face and Expression Recognition参考文献 19被引用 10

一句话总结

本文提出了一种元学习方法，通过在语音情感识别训练过程中动态校正模糊的情感标签并估计样本重要性，提升了性能。通过交替优化具有注意力机制的BLSTM模型、学习到的标签分布（$m{L}$）以及样本权重（$m{w}$），该方法在IEMOCAP数据集上实现了65.9%的加权准确率和61.4%的未加权准确率，较基线BLSTM与注意力模型分别提升了2.5和2.7个百分点。

ABSTRACT

Emotion labels in emotion recognition corpora are highly noisy and ambiguous, due to the annotators' subjective perception of emotions. Such ambiguity may introduce errors in automatic classification and affect the overall performance. We therefore propose a dynamic label correction and sample contribution weight estimation model. Our model is based on a standard BLSTM model with attention with two extra parameters. The first learns a new corrected label distribution, and is aimed to fix the inaccurate labels from the dataset. The other instead estimates the contribution of each sample to the training process, and is aimed to ignore the ambiguous and noisy samples while giving higher weight to the clear ones. We train our model through an alternating optimization method, where in the first epoch we update the neural network parameters, and in the second we keep them fixed to update the label correction and sample importance parameters. When training and evaluating our model on the IEMOCAP dataset, we obtained a weighted accuracy (WA) and unweighted accuracy (UA) of respectively 65.9% and 61.4%. This yielded an absolute improvement of 2.5%, 2.7% respectively compared to a BLSTM with attention baseline, trained on the corpus gold labels.

研究动机与目标

• 解决语音情感识别数据集中人工标注情感标签存在的高噪声与模糊性问题。
• 减轻因训练过程中误标和模糊话语导致的模型性能下降。
• 在训练过程中动态校正标签并估计样本贡献权重，以提升分类鲁棒性。
• 缓解情感识别数据集中类别不平衡与主观标注偏差的影响。
• 通过迭代式标签校正与样本加权学习噪声标签，超越现有基线模型。

提出的方法

• 该方法使用带有注意力机制的BLSTM作为基础情感分类模型。
• 为每个样本引入两个可学习参数：$m{L}_n$，即用于修正不准确标注的校正标签分布；$m{w}_n$，即样本贡献权重，用于降低模糊样本的影响。
• 训练过程采用交替优化策略：先更新神经网络参数，然后固定网络参数，更新$m{L}_n$和$m{w}_n$以最小化总体损失。
• 通过最小化预测标签与校正标签之间的交叉熵损失来学习标签校正$m{L}_n$。
• 通过优化样本权重$m{w}_n$以减少模糊样本的损失贡献，为更清晰、更可靠的样本分配更高的权重。
• 采用两阶段交替优化方案，在IEMOCAP数据集上端到端训练该框架。

实验结果

研究问题

• RQ1 在训练过程中动态校正标签是否能降低语音情感识别中模糊和噪声情感标注的影响？
• RQ2 学习每个样本的贡献权重是否能提升模型在类别不平衡与噪声数据集上的鲁棒性与性能？
• RQ3 所提出的标签校正与样本加权机制对不同情感类别性能的影响如何？
• RQ4 该模型在多大程度上能通过学习到的样本权重减轻如“快乐”这类高度模糊类别的影响？
• RQ5 与静态标签校正或数据增强方法相比，所提出的元学习方法在准确率与F1分数上是否更具优势？

主要发现

• 所提模型在IEMOCAP数据集上实现了65.9%的加权准确率和61.4%的未加权准确率，较BLSTM与注意力基线模型分别绝对提升2.5%和2.7%。
• 对“快乐”、“悲伤”、“中性”和“愤怒”类别的F1分数分别提升了+0.5%、+2.1%、+2.4%和+1.9%。
• “快乐”类别的精确率提高了14.6%，表明尽管原始标签高度模糊，模型仍能更好地区分该类别。
• 标签校正机制频繁将“快乐”重新标注为“悲伤”或“中性”，反映出该类别存在高度模糊性。
• 对于“快乐”类样本，样本权重$m{w}_n$显著降低，表明其在训练过程中可靠性低且模糊性高。
• 在更新$m{L}$和$m{w}$之前对原始标签进行预训练并未提升性能，表明早期接触噪声标签会引入偏差。