[论文解读] Explainable Depression Detection with Multi-Modalities Using a Hybrid Deep Learning Model on Social Media

Hamad Zogan, Imran Razzak+3 more|arXiv (Cornell University)|Jul 3, 2020

Mental Health via Writing参考文献 46被引用 13

一句话总结

该论文提出MDHAN，一种混合深度学习模型，结合层次注意力网络（HAN）进行文本分析与多模态特征（行为、情感、社交和主题）以检测社交媒体上的抑郁症状。该模型实现了89%的F1分数，并通过注意力机制突出显示关键词汇和推文，提供可解释性，显著优于基线模型，证明了将多模态数据与可解释自然语言处理相结合的价值。

ABSTRACT

Model interpretability has become important to engenders appropriate user trust by providing the insight into the model prediction. However, most of the existing machine learning methods provide no interpretability for depression prediction, hence their predictions are obscure to human. In this work, we propose interpretive Multi-Modal Depression Detection with Hierarchical Attention Network MDHAN, for detection depressed users on social media and explain the model prediction. We have considered user posts along with Twitter-based multi-modal features, specifically, we encode user posts using two levels of attention mechanisms applied at the tweet-level and word-level, calculate each tweet and words' importance, and capture semantic sequence features from the user timelines (posts). Our experiments show that MDHAN outperforms several popular and robust baseline methods, demonstrating the effectiveness of combining deep learning with multi-modal features. We also show that our model helps improve predictive performance when detecting depression in users who are posting messages publicly on social media. MDHAN achieves excellent performance and ensures adequate evidence to explain the prediction.

研究动机与目标

• 为解决现有社交媒体抑郁检测模型可解释性不足的问题，该问题限制了用户信任度和临床实用性。
• 通过整合用户时间线中的文本内容与多模态行为特征（情感、社交、主题、领域特定），提升自动抑郁检测的准确性和可靠性。
• 开发一种不仅能分类抑郁症状，还能通过注意力机制识别显著词汇和推文来解释预测结果的模型。
• 评估各模态的贡献以及结合文本与行为特征对模型性能的影响。

提出的方法

• 采用混合架构，将用户帖子通过层次注意力网络（HAN）处理，以捕捉词级别和推文级别的重要性及语义序列特征。
• 将多模态行为特征（情感、社交、主题、领域特定）输入多层感知机（MLP），以学习非文本行为模式。
• 通过晚期融合方式结合HAN和MLP的输出，以提升分类性能，同时保持可解释性。
• 使用注意力机制为词汇和推文分配权重，通过突出显示最具影响力的内容实现模型可解释性。
• 在真实世界Twitter用户数据集上端到端训练模型，使用词嵌入和时间序列用户时间线。
• 使用词云可视化注意力分数，以解释特定症状（如自杀意念、无价值感、失眠）的预测结果。

实验结果

研究问题

• RQ1 与仅使用文本的模型相比，整合多模态行为特征（情感、社交、主题、领域特定）在抑郁检测性能上提升了多少？
• RQ2 层次注意力机制在多大程度上提升了用户时间线中抑郁检测的可解释性和准确性？
• RQ3 在各模态（情感、社交、主题、领域特定）中，哪一个对模型预测性能的贡献最为显著？
• RQ4 该模型能否通过突出显示与特定抑郁症状相关的关键词汇和推文，提供有意义且人类可理解的解释？

主要发现

• MDHAN实现了89%的F1分数，显著优于所有强基线模型，证明了HAN与多模态特征结合的有效性。
• 当仅使用多模态特征时，模型性能显著下降，表明文本内容对高性能至关重要。
• 移除主题或社交网络特征导致性能下降最大，表明这两者对抑郁检测具有关键贡献。
• 仅HAN组件的性能优于仅多模态特征的模型，证实了用户时间线中语义序列建模的重要性。
• 注意力可视化显示，模型正确地为临床相关的推文和词汇分配了高权重（如‘每四人中就有一人经历心理健康问题’对应自杀意念）。
• 针对‘无价值感’、‘精力丧失’和‘失眠’等症状的词云，突出了频繁出现且影响重大的术语，验证了模型的可解释性与临床相关性。