[论文解读] Depression Status Estimation by Deep Learning based Hybrid Multi-Modal Fusion Model

Hrithwik Shalu, Pandurangan Harikrishnan+7 more|arXiv (Cornell University)|Nov 30, 2020

Mental Health via Writing参考文献 5被引用 4

一句话总结

本文提出了一种混合深度学习模型，通过一次学习和监督微调融合音频、视频和文本模态，以提升抑郁状态估计的准确性。该模型在真实世界数据集上实现了96.3%的准确率和0.9682的AUC，通过用户自适应、基于云的智能手机应用集成，展示了在检测轻度抑郁方面的稳健性能。

ABSTRACT

Preliminary detection of mild depression could immensely help in effective treatment of the common mental health disorder. Due to the lack of proper awareness and the ample mix of stigmas and misconceptions present within the society, mental health status estimation has become a truly difficult task. Due to the immense variations in character level traits from person to person, traditional deep learning methods fail to generalize in a real world setting. In our study we aim to create a human allied AI workflow which could efficiently adapt to specific users and effectively perform in real world scenarios. We propose a Hybrid deep learning approach that combines the essence of one shot learning, classical supervised deep learning methods and human allied interactions for adaptation. In order to capture maximum information and make efficient diagnosis video, audio, and text modalities are utilized. Our Hybrid Fusion model achieved a high accuracy of 96.3% on the Dataset; and attained an AUC of 0.9682 which proves its robustness in discriminating classes in complex real-world scenarios making sure that no cases of mild depression are missed during diagnosis. The proposed method is deployed in a cloud-based smartphone application for robust testing. With user-specific adaptations and state of the art methodologies, we present a state-of-the-art model with user friendly experience.

研究动机与目标

• 为解决因污名化、意识不足以及症状个体差异性导致的轻度抑郁未被检测的问题。
• 开发一种可在真实世界环境中跨多样化个体良好泛化的用户自适应人工智能系统。
• 通过混合学习策略利用多模态数据（音频、视频、文本）提升抑郁早期检测能力。
• 创建一种临床实用、可部署的初步抑郁筛查工具，可通过智能手机访问。

提出的方法

• 该模型采用混合融合框架，结合一次学习实现用户特定适应，以及对多模态输入的监督深度学习。
• 通过语音特征分析和频谱分析提取音频特征，捕捉语速、停顿和语音质量。
• 利用3D卷积神经网络从面部表情和微表情中提取视频特征，以检测情绪线索。
• 使用自然语言处理技术处理文本转录稿，识别第一人称代词和句法简洁性等语言标记。
• 采用余弦相似度比较查询响应与专家标注的标准答案，以确定抑郁严重程度。
• 系统部署于基于云的智能手机应用中，实现实时、可扩展且用户自适应的筛查。

实验结果

研究问题

• RQ1 混合深度学习模型能否在真实世界环境中有效融合音频、视频和文本模态，以高准确率检测轻度抑郁？
• RQ2 一次学习技术在缺乏每个个体大量标注数据的情况下，能否有效实现抑郁检测中的用户特定适应？
• RQ3 与单模态方法相比，多模态融合在区分抑郁严重程度等级方面能提升多少性能？
• RQ4 该模型在真实世界临床场景中能否在具有不同人格和行为特征的多样化个体间实现良好泛化？
• RQ5 该系统在识别传统临床方法常遗漏的细微或早期抑郁迹象方面有多有效？

主要发现

• 所提出的混合融合模型在测试中达到96.3%的准确率，95%置信区间为±1.478。
• 模型表现出0.9682的AUC，表明在复杂真实世界数据中对抑郁类别的强区分能力。
• 余弦相似度指数范围为0.128至0.883，证实了模型在区分轻度、中度和重度抑郁水平方面的能力。
• 系统成功检测到多样化个体中细微的语言、语调和面部特征指标。
• 基于云的智能手机部署实现了可扩展、实时且用户自适应的筛查，提升了可及性和临床实用性。
• 专家验证确认，该AI辅助系统可协助临床医生优先处理病例，提升分诊效率。