[论文解读] Depression Detection with Multi-Modalities Using a Hybrid Deep Learning Model on Social Media

Hamad Zogan, Xianzhi Wang+2 more|arXiv (Cornell University)|Jul 3, 2020

Mental Health via Writing参考文献 57被引用 13

一句话总结

该论文提出了一种可扩展的混合深度学习模型，结合双向门控循环单元（BiGRUs）与卷积神经网络（CNNs），通过利用文本和用户时间线的多模态特征，检测社交媒体用户中的抑郁症状。该模型通过有效捕捉短而稀疏的用户帖子中的长期依赖关系和语义序列，显著提升了在Twitter数据上的抑郁检测准确率，优于强基线模型。

ABSTRACT

Social networks enable people to interact with one another by sharing information, sending messages, making friends, and having discussions, which generates massive amounts of data every day, popularly called as the user-generated content. This data is present in various forms such as images, text, videos, links, and others and reflects user behaviours including their mental states. It is challenging yet promising to automatically detect mental health problems from such data which is short, sparse and sometimes poorly phrased. However, there are efforts to automatically learn patterns using computational models on such user-generated content. While many previous works have largely studied the problem on a small-scale by assuming uni-modality of data which may not give us faithful results, we propose a novel scalable hybrid model that combines Bidirectional Gated Recurrent Units (BiGRUs) and Convolutional Neural Networks to detect depressed users on social media such as Twitter-based on multi-modal features. Specifically, we encode words in user posts using pre-trained word embeddings and BiGRUs to capture latent behavioural patterns, long-term dependencies, and correlation across the modalities, including semantic sequence features from the user timelines (posts). The CNN model then helps learn useful features. Our experiments show that our model outperforms several popular and strong baseline methods, demonstrating the effectiveness of combining deep learning with multi-modal features. We also show that our model helps improve predictive performance when detecting depression in users who are posting messages publicly on social media.

研究动机与目标

• 通过整合多模态用户生成内容，解决单模态方法在从社交媒体检测抑郁方面的局限性。
• 通过可扩展的深度学习方法，提升在短文本、稀疏且表达不佳的社交媒体帖子中抑郁检测的准确性。
• 利用序列建模技术，对用户时间线中的长期行为模式和语义依赖关系进行建模。
• 通过融合来自Twitter等平台用户帖子的文本、序列和语义特征，提升预测性能。
• 开发一种稳健且可扩展的模型，利用预训练词嵌入和深度神经架构，实现心理健康筛查。

提出的方法

• 利用预训练词嵌入对社交媒体平台用户帖子中的文本内容进行编码。
• 采用双向门控循环单元（BiGRUs）对用户时间线中的长期依赖关系进行建模，并捕捉潜在的行为模式。
• 应用卷积神经网络（CNNs）从BiGRUs学习到的序列表示中提取高层次、具有判别性的特征。
• 将多模态特征——包括语义序列、文本内容和时间模式——整合到统一的深度学习框架中。
• 设计一种混合架构，结合BiGRUs用于序列建模和CNNs用于特征抽象，实现在用户生成内容上的端到端学习。
• 在公开可用的社交媒体数据上训练模型，重点检测短文本、非正式帖子中的抑郁迹象。

实验结果

研究问题

• RQ1 与单模态或独立模型相比，结合BiGRUs和CNNs的混合深度学习模型是否能提升社交媒体中抑郁检测的性能？
• RQ2 来自文本和用户时间线的多模态特征在捕捉与抑郁相关的潜在行为模式方面有多高效？
• RQ3 用户时间线中的长期依赖关系在多大程度上有助于提升对短文本、稀疏文本中抑郁状态的检测？
• RQ4 整合预训练词嵌入与深度序列建模是否能增强模型在低资源、噪声较大的社交媒体文本中检测抑郁的能力？
• RQ5 在真实世界社交媒体数据上，该模型与强基线方法相比，其预测性能如何？

主要发现

• 所提出的混合BiGRU-CNN模型在社交媒体抑郁检测中优于多种流行且强大的基线方法。
• 多模态特征（包括语义序列和文本内容）的整合显著提升了检测性能。
• BiGRUs有效捕捉了用户时间线中长期依赖关系和相关性，增强了模型检测与抑郁相关细微行为模式的能力。
• CNN组件成功从BiGRUs生成的序列特征中学习到有用的高层次表征，有助于提升分类性能。
• 该模型在真实世界Twitter数据上表现出强大的可扩展性和有效性，其中帖子通常简短、非正式且稀疏。
• 结果证实，结合深度学习与多模态特征可实现更准确、更可靠的公共社交媒体内容抑郁检测。