[论文解读] Depression Detection and Analysis using Large Language Models on Textual and Audio-Visual Modalities

Chayan Tank, Sarthak Pol+4 more|arXiv (Cornell University)|Jul 8, 2024

Emotion and Mood Recognition被引用 4

一句话总结

本论文提出了一种基于大语言模型（LLMs）的多模态抑郁检测框架，利用E-DAIC数据集中的文本、音频和视觉数据。该框架在回归任务中实现SOTA性能，GPT-4的RMSE为3.98，在分类任务中准确率达到71.43%，表明LLMs在文本模态上对PHQ-8严重程度预测和抑郁分类方面具有显著优势。

ABSTRACT

Depression has proven to be a significant public health issue, profoundly affecting the psychological well-being of individuals. If it remains undiagnosed, depression can lead to severe health issues, which can manifest physically and even lead to suicide. Generally, Diagnosing depression or any other mental disorder involves conducting semi-structured interviews alongside supplementary questionnaires, including variants of the Patient Health Questionnaire (PHQ) by Clinicians and mental health professionals. This approach places significant reliance on the experience and judgment of trained physicians, making the diagnosis susceptible to personal biases. Given that the underlying mechanisms causing depression are still being actively researched, physicians often face challenges in diagnosing and treating the condition, particularly in its early stages of clinical presentation. Recently, significant strides have been made in Artificial neural computing to solve problems involving text, image, and speech in various domains. Our analysis has aimed to leverage these state-of-the-art (SOTA) models in our experiments to achieve optimal outcomes leveraging multiple modalities. The experiments were performed on the Extended Distress Analysis Interview Corpus Wizard of Oz dataset (E-DAIC) corpus presented in the Audio/Visual Emotion Challenge (AVEC) 2019 Challenge. The proposed solutions demonstrate better results achieved by Proprietary and Open-source Large Language Models (LLMs), which achieved a Root Mean Square Error (RMSE) score of 3.98 on Textual Modality, beating the AVEC 2019 challenge baseline results and current SOTA regression analysis architectures. Additionally, the proposed solution achieved an accuracy of 71.43% in the classification task. The paper also includes a novel audio-visual multi-modal network that predicts PHQ-8 scores with an RMSE of 6.51.

研究动机与目标

• 开发一种利用大语言模型（LLMs）处理文本、音频和视觉数据的多模态抑郁检测系统。
• 在PHQ-8评分预测与抑郁严重程度分析任务中，超越现有SOTA回归与分类模型。
• 评估专有及开源LLMs（包括GPT-4、GPT-3.5和LLaMA 3 8B）在临床抑郁检测任务中的性能表现。
• 探究E-DAIC数据集在样本量和隐私方面的局限性，并为未来研究中数据稀缺与隐私问题提出解决方案。
• 探索LLMs在临床心理健康应用中，对回归与分类任务进行少样本提示（few-shot prompting）的可行性。

提出的方法

• 使用OpenAI Whisper对音频进行转录，提取文本转录本以输入LLMs。
• 采用少样本提示（few-shot prompting）结合LLMs（GPT-4、GPT-3.5、LLaMA 3 8B）从文本数据中预测PHQ-8评分并分类抑郁状态。
• 设计一种新颖的音频-视觉多模态网络，结合Whisper与BiLSTM，从音频和视觉线索中预测PHQ-8评分。
• 利用RoBERTa与DepRoBERTa对临床访谈转录文本进行微调，实现文本表征学习。
• 应用针对PHQ-8评分预测与二分类（抑郁 vs. 非抑郁）任务定制的回归与分类头，结合相应的损失函数。
• 在E-DAIC数据集上，使用RMSE、MAE、CCC、准确率、F1、精确率与召回率等指标，在测试集与验证集上评估模型性能。

实验结果

研究问题

• RQ1 大语言模型是否能在基于文本数据的PHQ-8评分回归预测中超越现有SOTA架构？
• RQ2 LLMs在使用少样本提示从文本转录中分类抑郁严重程度方面效果如何？
• RQ3 将音频与视觉信号与LLMs进行多模态融合，是否能超越单模态方法，提升PHQ-8预测性能？
• RQ4 E-DAIC数据集在样本量与隐私方面存在哪些局限性？未来工作如何应对这些问题？
• RQ5 专有LLMs（如GPT-4）与开源模型（如LLaMA 3 8B）在临床抑郁检测任务中的表现有何差异？

主要发现

• GPT-4在测试集上实现最优回归性能，RMSE为3.975，优于AVEC 2019基线模型与当前SOTA模型。
• 所提出的音频-视觉多模态网络在PHQ-8评分预测中实现RMSE为6.51，优于竞争基线模型。
• GPT-4在抑郁分类任务中达到71.43%的准确率，加权F1得分为71.44%，展现出在少样本提示下的强大性能。
• LLaMA 3 8B Instruct在分类任务中实现73.21%的准确率，优于GPT-3.5（58.93%），展现出开源LLMs在心理健康应用中的巨大潜力。
• 文本模态在LLMs支持下表现优于音频与视觉模态，表明语言线索在抑郁检测中占据主导地位。
• GPT-4实现CCC得分为0.781，显著优于其他模型，确立了PHQ-8预测任务中一致性相关系数的新SOTA。