[论文解读] MFCC-based Recurrent Neural Network for Automatic Clinical Depression Recognition and Assessment from Speech

Emna Rejaibi, Ali Komaty+3 more|arXiv (Cornell University)|Sep 16, 2019

Emotion and Mood Recognition参考文献 38被引用 246

一句话总结

基于 MFCC 的 LSTM 框架通过语音检测抑郁并估计 PHQ-8 严重程度，使用数据增强和迁移学习来应对小数据集，在抑郁检测获得 76.27% 的验证准确率，在二分类任务上 RMSE 为 0.405。

ABSTRACT

Clinical depression or Major Depressive Disorder (MDD) is a common and serious medical illness. In this paper, a deep recurrent neural network-based framework is presented to detect depression and to predict its severity level from speech. Low-level and high-level audio features are extracted from audio recordings to predict the 24 scores of the Patient Health Questionnaire and the binary class of depression diagnosis. To overcome the problem of the small size of Speech Depression Recognition (SDR) datasets, expanding training labels and transferred features are considered. The proposed approach outperforms the state-of-art approaches on the DAIC-WOZ database with an overall accuracy of 76.27% and a root mean square error of 0.4 in assessing depression, while a root mean square error of 0.168 is achieved in predicting the depression severity levels. The proposed framework has several advantages (fastness, non-invasiveness, and non-intrusion), which makes it convenient for real-time applications. The performances of the proposed approach are evaluated under a multi-modal and a multi-features experiments. MFCC based high-level features hold relevant information related to depression. Yet, adding visual action units and different other acoustic features further boosts the classification results by 20% and 10% to reach an accuracy of 95.6% and 86%, respectively. Considering visual-facial modality needs to be carefully studied as it sparks patient privacy concerns while adding more acoustic features increases the computation time.

研究动机与目标

• 动机：利用 MFCC 特征和 RNN 进行语音抑郁检测与严重程度评估的研究目标。
• 通过数据增强和从相关情绪任务进行迁移学习来应对小数据集的挑战。
• 在 DAIC-WOZ 语料库上评估性能，并分析性别、噪声鲁棒性和泛化性。

提出的方法

• 从预处理的语音片段中提取 MFCC 特征（60 个系数）及其一阶与二阶导数。
• 使用一个三层 LSTM 网络，后接两个全连接层，用于二分类的抑郁判定（sigmoid）和多类 PHQ-8 严重度估计（softmax）。
• 使用跨系数的全局 Z-score 归一化对 MFCC 特征进行归一化。
• 应用数据增强（噪声、音高、位移、速度）以增加数据多样性。
• 在情感识别任务（RAVDESS）上对模型进行预训练，然后在抑郁任务上微调（迁移学习）。
• 比较基线、数据增强和迁移学习设置；同时评估二元抑郁检测和 24 级严重性预测。

实验结果

研究问题

• RQ1 基于 MFCC 的 RNN 是否能够仅通过语音准确检测抑郁？
• RQ2 模型从语音预测 PHQ-8 严重程度的能力如何（二分类 vs 多类）？
• RQ3 数据增强和迁移学习是否提高在 DAIC-WOZ 上的抑郁检测和严重性估计？
• RQ4 性别对基于语音的抑郁识别模型性能有何影响？
• RQ5 所提出的系统对噪声的鲁棒性以及跨数据集的泛化能力如何？

主要发现

• 基线基于 MFCC 的 RNN 在抑郁（二分类）上的验证准确率为 67.61%，RMSE 为 0.5057。
• 严重度预测（24 个 PHQ-8 类）产生 RMSE 0.168，显著优于二分类任务。
• 数据增强将验证准确率提升至 74.0%，将 RMSE 降至 0.4206（二分类任务）。
• 在 RAVDESS 情感上进行预训练并在 DAIC-WOZ 上进行微调的迁移学习，使验证准确率提高到 76.27%，RMSE 提升至 0.4055（二分类任务）。
• 抑郁的 F1 分数在迁移学习下从 38% 提升到 46%；性别分析显示女性的验证准确率（85%）高于男性（83%）。
• 模型在噪声鲁棒性方面表现出对 10% 高斯噪声的二分类准确率下降 8.3%，在高达 20% 噪声时保持稳定性能。