[论文解读] A Topic-Attentive Transformer-based Model For Multimodal Depression Detection

Yanrong Guo, Chenyang Zhu+2 more|arXiv (Cornell University)|Jun 27, 2022

Mental Health via Writing被引用 8

一句话总结

本文提出 TOAT，一种基于主题注意力机制的 Transformer 模型，用于利用临床访谈中的音频与文本进行多模态抑郁检测。通过将数据组织为主题单元并应用主题注意力机制，该模型在训练数据有限的情况下提升了特征的相关性并提高了检测准确率，在 DAIC-WOZ 数据集上实现了 64.7 的 F1 分数。

ABSTRACT

Depression is one of the most common mental disorders, which imposes heavy negative impacts on one's daily life. Diagnosing depression based on the interview is usually in the form of questions and answers. In this process, the audio signals and their text transcripts of a subject are correlated to depression cues and easily recorded. Therefore, it is feasible to build an Automatic Depression Detection (ADD) model based on the data of these modalities in practice. However, there are two major challenges that should be addressed for constructing an effective ADD model. The first challenge is the organization of the textual and audio data, which can be of various contents and lengths for different subjects. The second challenge is the lack of training samples due to the privacy concern. Targeting to these two challenges, we propose the TOpic ATtentive transformer-based ADD model, abbreviated as TOAT. To address the first challenge, in the TOAT model, topic is taken as the basic unit of the textual and audio data according to the question-answer form in a typical interviewing process. Based on that, a topic attention module is designed to learn the importance of of each topic, which helps the model better retrieve the depressed samples. To solve the issue of data scarcity, we introduce large pre-trained models, and the fine-tuning strategy is adopted based on the small-scale ADD training data. We also design a two-branch architecture with a late-fusion strategy for building the TOAT model, in which the textual and audio data are encoded independently. We evaluate our model on the multimodal DAIC-WOZ dataset specifically designed for the ADD task. Experimental results show the superiority of our method. More importantly, the ablation studies demonstrate the effectiveness of the key elements in the TOAT model.

研究动机与目标

• 通过将数据组织为主题单元，解决自动抑郁检测（ADD）中可变长度、内容多样的访谈数据带来的挑战。
• 通过利用大规模预训练模型并在小规模、隐私敏感的数据集上进行微调，缓解 ADD 中的数据稀缺问题。
• 通过引入一种动态加权文本与音频中每个主题重要性的主题注意力机制，提升多模态抑郁检测的性能。
• 通过结合文本与音频模态表示的双分支 Transformer 架构，验证晚期融合在多模态抑郁检测中的有效性。

提出的方法

• 该模型基于问答对将访谈数据组织为基于主题的单元，将每个主题视为语义单元，以促进更好的特征学习。
• 引入主题注意力模块，以学习每个主题的重要性，使模型在预测过程中能够聚焦于临床相关的语义内容。
• 采用双分支架构，独立处理文本与音频模态，使用在 ADD 数据集上微调过的预训练模型（如 Wav2Vec2 和 BERT）。
• 通过在分类前拼接两个分支的最终表示，应用晚期融合策略，实现互补信息的整合。
• 采用交叉熵损失进行端到端训练，超参数通过验证性能进行调优。
• 通过移除分支或主题注意力模块进行消融研究，以评估各组件的贡献。

实验结果

研究问题

• RQ1 与按句子或主题级别处理相比，将访谈数据组织为基于主题的单元在抑郁检测性能上有哪些提升？
• RQ2 主题注意力机制在多大程度上通过聚焦于临床相关的主题来提升模型性能？
• RQ3 在小规模 ADD 数据上微调预训练模型，是否能有效缓解数据稀缺问题并提升检测准确率？
• RQ4 文本与音频模态在单独及联合使用时，对最终检测性能的贡献分别是什么？

主要发现

• 完整版 TOAT 模型在 DAIC-WOZ 数据集上实现了 64.7 的 F1 分数，优于单模态基线模型。
• 仅使用文本分支的 F1 分数为 51.9，仅使用音频分支的 F1 分数为 48.0，表明两种模态具有互补价值。
• 消融研究证实，若移除主题注意力模块或任一模态，性能均出现显著下降，验证了其必要性。
• 主题级别的 F1 分数与使用率呈正相关，表明更具信息量的主题自然地被注意力机制赋予更高的权重。
• 第 5 个主题 '您是否被诊断为患有抑郁症？' 是一个例外，其 F1 分数高但使用率低，原因在于其为二元、高敏感性问题。
• 定性分析表明，模型会为明显提示抑郁的回应分配较高的注意力权重，与临床直觉一致。