[论文解读] Clinical Depression and Affect Recognition with EmoAudioNet.

Emna Rejaibi, Daoud Kadoch+5 more|arXiv (Cornell University)|Nov 1, 2019

Emotion and Mood Recognition参考文献 5被引用 7

一句话总结

EmoAudioNet 是一种深度神经网络，通过使用时频表示和频谱可视化来分析语音，以提升自动临床抑郁症和连续情绪识别的性能。它在 RECOLA 和 DAIC-WOZ 数据集上实现了最先进（SOTA）的性能，相较于现有方法表现出更高的准确性。

ABSTRACT

Automatic analysis of emotions and affects from speech is an inherently challenging problem with a broad range of applications in Human-Computer Interaction (HCI), health informatics, assistive technologies and multimedia retrieval. Understanding human's specific and basic emotions and reacting accordingly can improve HCI. Besides, giving machines skills to understand human's emotions when interacting with other humans can help humans with a socio-affective intelligence. In this paper, we present a deep Neural Network-based architecture called EmoAudioNet which studies the time-frequency representation of the audio signal and the visual representation of its spectrum of frequencies. Two applications are performed using EmoAudioNet : automatic clinical depression recognition and continuous dimensional emotion recognition from speech. The extensive experiments showed that the proposed approach significantly outperforms the state-of-art approaches on RECOLA and DAIC-WOZ databases. The competitive results call for applying EmoAudioNet on others affects and emotions recognition from speech applications.

研究动机与目标

• 开发一种深度学习模型，能够从语音中识别临床抑郁症和连续情绪状态。
• 通过利用语音信号的时频表示和频谱可视化特征，提升情感识别性能。
• 在使用语音数据的抑郁症和情绪识别任务中，超越现有的最先进方法。
• 探索多模态音频表征学习在人机交互中社会情感智能方面的潜力。

提出的方法

• EmoAudioNet 采用深度神经网络架构，处理语音信号的时频表示。
• 它结合了频谱的可视化表示，以增强情感识别的特征学习。
• 该模型在原始音频上端到端训练，以提取用于抑郁症和连续情绪识别的判别性特征。
• 它使用来自 RECOLA 和 DAIC-WOZ 数据库的标注数据进行监督学习，以优化分类和回归任务。
• 该架构集成了卷积层，以捕捉 spectrogram 中的局部模式以及音频中的时间动态特性。
• 该框架支持两种主要任务：临床抑郁症的二分类任务，以及连续情绪维度（如愉悦度、唤醒度）的回归任务。

实验结果

研究问题

• RQ1 结合时频特征与频谱可视化特征的深度神经网络，能否提升从语音中检测临床抑郁症的性能？
• RQ2 EmoAudioNet 在从语音中进行连续维度情绪识别方面，与最先进模型相比表现如何？
• RQ3 多模态音频表征在基准数据集上，能在多大程度上提升情感识别性能？
• RQ4 所提出的架构能否泛化到抑郁症和基本情绪之外的其他情感识别任务？

主要发现

• EmoAudioNet 在 RECOLA 数据集上进行连续维度情绪识别时，显著优于现有的最先进方法。
• 在 DAIC-WOZ 数据集上，EmoAudioNet 在临床抑郁症识别任务中表现优于现有方法。
• 时频表示与视觉频谱特征的结合，显著提升了情感识别的准确性。
• 在两个数据集上均取得优异结果，表明 EmoAudioNet 在多样化的语音情感识别应用中具有强大的泛化潜力。