[论文解读] Emotion Recognition in Speech Using Cross-Modal Transfer in the Wild

Samuel Albanie, Arsha Nagrani+2 more|arXiv (Cornell University)|Aug 16, 2018

Emotion and Mood Recognition参考文献 56被引用 14

一句话总结

本文提出了一种跨模态蒸馏方法，利用未标注的视频数据，将预训练视觉模型中的面部情绪识别知识迁移至语音情绪识别模型。通过利用面部表情与声音情绪之间的相关性，该方法在无需任何标注音频数据的情况下训练仅依赖语音的模型，在仅使用未标注视频进行预训练的前提下，于基准数据集上实现了最先进性能。

ABSTRACT

Obtaining large, human labelled speech datasets to train models for emotion recognition is a notoriously challenging task, hindered by annotation cost and label ambiguity. In this work, we consider the task of learning embeddings for speech classification without access to any form of labelled audio. We base our approach on a simple hypothesis: that the emotional content of speech correlates with the facial expression of the speaker. By exploiting this relationship, we show that annotations of expression can be transferred from the visual domain (faces) to the speech domain (voices) through cross-modal distillation. We make the following contributions: (i) we develop a strong teacher network for facial emotion recognition that achieves the state of the art on a standard benchmark; (ii) we use the teacher to train a student, tabula rasa, to learn representations (embeddings) for speech emotion recognition without access to labelled audio data; and (iii) we show that the speech emotion embedding can be used for speech emotion recognition on external benchmark datasets. Code, models and data are available.

研究动机与目标

• 解决真实世界（in-the-wild）环境中语音情绪数据集受限、成本高且标注模糊的挑战。
• 探索是否可利用未标注视频数据，通过面部情绪识别模型为语音情绪识别模型提供弱监督信号。
• 通过利用大规模未标注视频集合，减少对昂贵、主观且通常多样性不足的标注语音数据的依赖。
• 开发一种通过知识蒸馏将视觉情绪表征迁移至语音的跨模态方法，以实现跨领域泛化。
• 证明通过跨模态迁移训练的语音模型可在外部、保留的基准测试上实现优异性能。

提出的方法

• 在 FERPlus 基准上训练一个强大的教师模型用于面部情绪识别，达到最先进性能。
• 将教师模型应用于 VoxCeleb 数据集中的未标注视频数据，生成面部情绪的伪标签。
• 通过知识蒸馏，使用伪标注的面部情绪预测结果作为监督信号，训练一个从零开始的语音学生模型（tabula rasa）。
• 蒸馏过程通过最小化学生模型输出与教师模型在相同视频片段上的软概率之间的交叉熵损失来实现。
• 学生模型通过利用音频与视觉模态之间的冗余性，学习捕捉情绪内容的音频表征。
• 最终的语音情绪识别模型在外部数据集上进行评估，且未在任何标注语音数据上进行微调。

实验结果

研究问题

• RQ1 能否使用在标准基准上训练的面部情绪识别模型，为未标注视频数据生成伪标签，以监督语音情绪识别？
• RQ2 在无任何标注音频的情况下，面部表情中的知识能在多大程度上被迁移以提升真实世界中的语音情绪识别性能？
• RQ3 从视觉到语音的跨模态蒸馏是否能产生鲁棒且可泛化的语音情绪表征？
• RQ4 经蒸馏的语音模型在标准基准上的性能与监督基线相比如何？
• RQ5 该方法是否能泛化至未见数据集，并有效处理模糊或噪声情绪信号？

主要发现

• 所提方法在 FERPlus 基准上实现了面部情绪识别的最先进性能，使用了强大的教师模型。
• 蒸馏后的语音模型在 RML 数据集保留验证集上的平均 ROC AUC 达到 0.71，显著高于随机基线。
• 该模型在外部数据集上泛化良好，在未微调任何标注语音数据的情况下，于 RML 和 eNTERFACE 基准上均取得了具有竞争力的性能。
• 学生模型在 heardVal 与 unheardVal 分割上的表现相近（平均 ROC AUC 分别为 0.71 与 0.69），表明其未依赖说话人身份作为捷径。
• 该方法生成了一个新数据集 EmoVoxCeleb，对 VoxCeleb 数据集中的面部情绪进行了自动标注，并已公开发布。
• 混淆矩阵显示，尽管学生模型表现合理，但其在大多数情绪类别上的错误率高于教师模型，表明跨模态对齐存在模态特异性局限。