[论文解读] Integration of Text and Graph-based Features for Detecting Mental Health Disorders from Voice

Nasser Ghadiri, Rasoul Samani+1 more|arXiv (Cornell University)|May 14, 2022

Emotion and Mood Recognition被引用 4

一句话总结

本文提出了一种混合方法，将基于文本的自然语言处理与语音信号的图结构表示相结合，以提升从语音中检测抑郁症的性能。通过融合转录文本嵌入与图结构化的音频特征，该方法在DAIC-WOZ数据集上实现了优越的性能，表明多模态特征融合可超越传统仅使用音频的方法，提升心理健康障碍的检测效果。

ABSTRACT

With the availability of voice-enabled devices such as smart phones, mental health disorders could be detected and treated earlier, particularly post-pandemic. The current methods involve extracting features directly from audio signals. In this paper, two methods are used to enrich voice analysis for depression detection: graph transformation of voice signals, and natural language processing of the transcript based on representational learning, fused together to produce final class labels. The results of experiments with the DAIC-WOZ dataset suggest that integration of text-based voice classification and learning from low level and graph-based voice signal features can improve the detection of mental disorders like depression.

研究动机与目标

• 解决仅使用音频特征在检测抑郁症等心理健康障碍方面的局限性。
• 探索结合文本转录分析与语音信号图结构转换的潜力。
• 通过融合低层次音频特征与高层次语言及结构表征，提升分类性能。
• 在真实临床数据集（DAIC-WOZ）上验证该多模态方法的有效性。

提出的方法

• 使用表征学习技术处理语音录音的文本转录，以提取上下文嵌入。
• 将语音信号转换为图结构，以捕捉语音帧之间的时序与频谱关系。
• 提取低层次音频特征（如语调与频谱特征），并将其与图结构化表征相结合。
• 将基于图的嵌入与基于文本的嵌入拼接后输入分类器，用于抑郁症检测。
• 采用多模态融合策略，结合语言、声学与结构特征，以增强判别能力。
• 在DAIC-WOZ数据集上训练并评估模型，该数据集是语音中心理健康检测的基准数据集。

实验结果

研究问题

• RQ1 将语音信号的图结构表示与标准音频特征相比，是否能提升抑郁症检测性能？
• RQ2 将文本转录嵌入与结构化音频特征结合，对分类性能有何影响？
• RQ3 在心理健康分类中，文本与基于图的特征的多模态融合在多大程度上优于单模态方法？
• RQ4 所提出的方法是否能很好地泛化到真实临床语音数据？

主要发现

• 与仅使用音频或仅使用文本的模型相比，结合基于文本与基于图的特征显著提升了抑郁症检测的准确率。
• 与仅使用低层次声学特征的基线模型相比，所提出方法在DAIC-WOZ数据集上取得了更高的F1值与AUC值。
• 基于图的表示能有效捕捉语音信号中与心理健康指标相关的非线性模式。
• 将转录文本的语言上下文与结构化音频特征融合，可生成更具鲁棒性与判别性的表征，用于分类。