[论文解读] Multi-Classifier Interactive Learning for Ambiguous Speech Emotion Recognition

Ying Zhou, Xuefeng Liang+3 more|arXiv (Cornell University)|Dec 10, 2020

Emotion and Mood Recognition参考文献 31被引用 5

一句话总结

该论文提出了一种名为多分类器交互学习（MCIL）的新方法，用于处理模糊语音情感识别问题。该方法通过多个分类器协作构建情感概率分布（模糊标签），并利用交互学习机制迭代优化其表征。MCIL在提升单个分类器准确率的同时增强了分类器间的一致性，在MAS、IEMOCAP和FAU-AIBO数据集上分别实现了3.1%、2.0%和1.58%的绝对准确率提升，达到当前最优性能。

ABSTRACT

In recent years, speech emotion recognition technology is of great significance in industrial applications such as call centers, social robots and health care. The combination of speech recognition and speech emotion recognition can improve the feedback efficiency and the quality of service. Thus, the speech emotion recognition has been attracted much attention in both industry and academic. Since emotions existing in an entire utterance may have varied probabilities, speech emotion is likely to be ambiguous, which poses great challenges to recognition tasks. However, previous studies commonly assigned a single-label or multi-label to each utterance in certain. Therefore, their algorithms result in low accuracies because of the inappropriate representation. Inspired by the optimally interacting theory, we address the ambiguous speech emotions by proposing a novel multi-classifier interactive learning (MCIL) method. In MCIL, multiple different classifiers first mimic several individuals, who have inconsistent cognitions of ambiguous emotions, and construct new ambiguous labels (the emotion probability distribution). Then, they are retrained with the new labels to interact with their cognitions. This procedure enables each classifier to learn better representations of ambiguous data from others, and further improves the recognition ability. The experiments on three benchmark corpora (MAS, IEMOCAP, and FAU-AIBO) demonstrate that MCIL does not only improve each classifier's performance, but also raises their recognition consistency from moderate to substantial.

研究动机与目标

• 为解决语音情感模糊性问题，即话语通常同时携带多种情感且概率各异，而现有单标签或多标签方法难以有效表示此现象。
• 通过将情感模糊性建模为反映不确定性的概率分布，而非离散标签，以提升识别性能。
• 通过使分类器能够相互交互并学习彼此的预测结果，提升分类器间的一致性与鲁棒性。
• 开发一种可泛化的通用方法，适用于缺乏专家投票信息的数据集，区别于以往依赖此类统计信息的方法。
• 验证受人类认知中最佳互动理论启发的交互学习机制，能够同时提升准确率与分类器间的一致性。

提出的方法

• 首先在模糊数据的精确标签上训练多个多样化分类器，形成初始模型。
• 这些分类器对剩余的模糊话语进行投票，生成预测情感分布的统计信息。
• 利用投票统计结果构建模糊标签作为概率分布（例如，[0.3, 0.5, 0.2] 分别对应高兴、悲伤、愤怒）。
• 使用这些构建出的模糊标签对分类器进行再训练，使其能够从彼此的预测中学习，从而更好地表征不确定数据。
• 通过KL散度度量并优化再训练过程中分类器预测结果的一致性，形式化交互学习过程。
• 通过迭代方式不断优化分类器预测结果，模拟人际沟通过程以解决情感模糊性问题。

实验结果

研究问题

• RQ1 与单标签或多标签基线方法相比，多个分类器之间的协作学习是否能提升对模糊语音情感的识别性能？
• RQ2 基于分类器共识的交互学习是否能带来更高的识别准确率与一致性？
• RQ3 所提出的方法是否能泛化到缺乏专家投票标注的数据集（如MAS）？
• RQ4 与精确标签或多标签表示相比，使用情感概率分布（模糊标签）在性能与一致性方面表现如何？
• RQ5 交互学习在多大程度上提升了分类器在模糊数据上的相互一致性？

主要发现

• 在MAS语料上，MCIL相比当前最优方法实现了3.1%的绝对准确率提升，对最模糊的类别（高兴）提升达42.5%。
• 在IEMOCAP数据集上，MCIL整体准确率提升2.0%，在全部四个情感类别中排名第二，对中性与悲伤类别的提升达7.0%至35.0%。
• 在FAU-AIBO数据集上，MCIL达到最高整体准确率（65.47%），优于所有基线方法1.58%至4.16%，在IDL与NEG类别中均位列第二。
• 在FAU-AIBO上，Fleiss Kappa值从0.3554提升至0.6054，表明分类器间的一致性由中等水平跃升至高度一致。
• MCIL显著提升了分类一致性，三组语料的Kappa值分别提升了0.15、0.19和0.25，证明了分类器间相互一致性的增强。
• 该方法在模糊类别上优于多数投票与三重训练方法，即使在单个分类器表现不一致时也展现出良好鲁棒性。