[论文解读] Deep Learning for Depression Recognition with Audiovisual Cues: A Review

Lang He, Mingyue Niu+10 more|arXiv (Cornell University)|May 27, 2021

Emotion and Mood Recognition参考文献 169被引用 15

一句话总结

本综述综合分析了基于视听线索的自动抑郁程度评估（ADE）的深度学习方法，探讨了数据集、特征提取方法及多模态融合技术。研究指出深度学习相较于人工设计特征具有显著优势，并识别出数据不平衡、少样本学习以及音频与视频模态有效融合等关键挑战，这些挑战制约了临床部署。

ABSTRACT

With the acceleration of the pace of work and life, people have to face more and more pressure, which increases the possibility of suffering from depression. However, many patients may fail to get a timely diagnosis due to the serious imbalance in the doctor-patient ratio in the world. Promisingly, physiological and psychological studies have indicated some differences in speech and facial expression between patients with depression and healthy individuals. Consequently, to improve current medical care, many scholars have used deep learning to extract a representation of depression cues in audio and video for automatic depression detection. To sort out and summarize these works, this review introduces the databases and describes objective markers for automatic depression estimation (ADE). Furthermore, we review the deep learning methods for automatic depression detection to extract the representation of depression from audio and video. Finally, this paper discusses challenges and promising directions related to automatic diagnosing of depression using deep learning technologies.

研究动机与目标

• 提供关于使用视听线索进行自动抑郁程度评估（ADE）的深度学习方法的全面综述。
• 分析ADE研究中使用的现有数据集和客观指标，强调多模态数据融合。
• 识别ADE中的关键挑战，包括数据不平衡、训练样本有限以及音频与视觉特征的有效融合。
• 通过聚焦于现有综述中较少涉及的深度多模态方法，弥合现有文献中的空白。
• 通过提出临床部署ADE系统的有前景方向，为未来研究提供指导。

提出的方法

• 系统性回顾2013年至2021年间关于使用音频、视频及多模态数据进行ADE的123项研究。
• 对深度学习架构进行分类与评估，特别是用于从音频和视频中提取特征的深度卷积神经网络（DCNNs）。
• 分析ADE的发展历程，从人工设计特征（如LBP、LPQ-TOP、FAUs）到基于深度学习的表征。
• 评估结合音频与视觉线索以提升抑郁程度估计性能的多模态融合策略。
• 使用标准指标（如准确率、F1值和ROC曲线下面积（AUC））评估性能，尤其关注数据不平衡情况下的表现。
• 提出未来的方法论方向，包括结合人工设计与深度学习特征的混合模型，以及整合音频、视频、文本和生理信号的多模态数据采集。

实验结果

研究问题

• RQ1 基于视听线索的自动抑郁程度评估中，深度学习模型在性能与架构方面如何演变？
• RQ2 用于从音频与视频中建模抑郁的最有效深度学习架构与特征提取技术是什么？
• RQ3 与单模态方法相比，多模态融合策略如何提升抑郁程度估计的准确性与鲁棒性？
• RQ4 ADE中的关键挑战是什么，特别是关于数据不平衡、训练样本有限以及模型泛化能力？
• RQ5 如何有效结合人工设计特征与深度学习特征以提升ADE性能？

主要发现

• 深度学习模型，尤其是DCNNs，在自动抑郁程度评估中显著优于传统人工设计特征（如LBP和LPQ-TOP）。
• 融合音频与视频数据的多模态ADE系统性能优于单模态方法，能够有效利用互补线索。
• 数据不平衡仍是关键问题——例如在AVEC2014数据集中，轻度抑郁（BDI-II 0–9分）类别的样本远多于重度（30–44分）类别，导致模型偏向。
• 尽管性能优异，深度学习模型在少样本学习以及在多样化人群与临床环境中的泛化能力方面仍存在挑战。
• 结合人工设计与深度学习特征的混合架构在提升判别能力与模型鲁棒性方面展现出潜力。
• 未来的ADE系统应整合多模态数据（音频、视频、文本、生理信号），并推动数据与代码的开放共享，以加速临床转化。