[论文解读] Machine Learning Approaches for Mental Illness Detection on Social Media: A Systematic Review of Biases and Methodological Challenges

Yuchen Cao, Jianglai Dai+5 more|arXiv (Cornell University)|Oct 21, 2024

Mental Health via WritingPsychology被引用 3

一句话总结

本篇系统性综述分析了用于在社交媒体上检测抑郁的机器学习模型，识别出机器学习生命周期中存在的重要偏差和方法论缺陷。研究揭示了广泛存在的问题，包括过度依赖英文Twitter数据、非概率抽样、预处理不一致以及对类别不平衡处理不足，呼吁提升数据多样性、标准化实践和报告透明度，以实现更可靠且可泛化的模型。

ABSTRACT

The global increase in mental illness requires innovative detection methods for early intervention. Social media provides a valuable platform to identify mental illness through user-generated content. This systematic review examines machine learning (ML) models for detecting mental illness, with a particular focus on depression, using social media data. It highlights biases and methodological challenges encountered throughout the ML lifecycle. A search of PubMed, IEEE Xplore, and Google Scholar identified 47 relevant studies published after 2010. The Prediction model Risk Of Bias ASsessment Tool (PROBAST) was utilized to assess methodological quality and risk of bias. The review reveals significant biases affecting model reliability and generalizability. A predominant reliance on Twitter (63.8%) and English-language content (over 90%) limits diversity, with most studies focused on users from the United States and Europe. Non-probability sampling (80%) limits representativeness. Only 23% explicitly addressed linguistic nuances like negations, crucial for accurate sentiment analysis. Inconsistent hyperparameter tuning (27.7%) and inadequate data partitioning (17%) risk overfitting. While 74.5% used appropriate evaluation metrics for imbalanced data, others relied on accuracy without addressing class imbalance, potentially skewing results. Reporting transparency varied, often lacking critical methodological details. These findings highlight the need to diversify data sources, standardize preprocessing, ensure consistent model development, address class imbalance, and enhance reporting transparency. By overcoming these challenges, future research can develop more robust and generalizable ML models for depression detection on social media, contributing to improved mental health outcomes globally.

研究动机与目标

• 识别并分析使用社交媒体数据检测精神疾病（尤其是抑郁）的机器学习模型中的偏差和方法论挑战。
• 评估2010年后发表的47项相关研究中的方法论质量与偏倚风险。
• 评估现有研究在数据多样性、抽样方法、预处理技术及模型评估策略方面的表现。
• 突出模型开发与超参数调优过程中报告透明度与一致性方面的缺口。
• 为提升未来机器学习模型在精神健康检测中的可靠性、可泛化性与伦理化部署提供可操作的建议。

提出的方法

• 通过PubMed、IEEE Xplore和Google Scholar进行系统性文献检索，识别出2010年后发表的47项相关研究。
• 应用预测模型偏倚风险评估工具（PROBAST）评估所选研究的方法论质量与偏倚风险。
• 系统提取并分析数据来源、语言分布、抽样方法、预处理实践、超参数调优及评估指标。
• 本综述聚焦于识别与数据代表性、模型开发及报告透明度相关的偏差，特别是在使用社交媒体内容进行精神疾病检测时。
• 对研究特征进行定量分析，以评估数据源使用趋势、语言分布、地理聚焦及方法论一致性。
• 综合研究发现，以突出系统性挑战，并为未来研究提供最佳实践指导。

实验结果

研究问题

• RQ1 现有用于社交媒体精神疾病检测的机器学习研究中，主导的数据来源与语言分布是怎样的？
• RQ2 抽样、预处理及超参数调优等方法论实践在多大程度上导致了偏差并降低了模型的泛化能力？
• RQ3 评估指标的应用是否具有一致性，特别是在处理精神健康数据集中常见的类别不平衡问题时？
• RQ4 各研究在报告透明度与方法论细节方面存在哪些关键缺口？
• RQ5 数据收集与模型开发中的偏差如何影响精神疾病检测系统的可靠性与伦理化部署？

主要发现

• 63.8%的研究仅依赖Twitter数据，其中90%以上的内容为英文，表明存在显著的语言与文化多样性缺失。
• 80%的研究采用非概率抽样，限制了模型发现的代表性与泛化能力。
• 仅23%的研究明确处理了诸如否定等语言细微差别，而这些在情感与情绪分析中至关重要。
• 27.7%的研究报告了不一致的超参数调优，增加了过拟合与模型不稳定的风崄。
• 17%的研究采用了不足的数据划分策略，进一步加剧了过拟合风险。
• 尽管74.5%的研究使用了适合不平衡数据的评估指标，但许多研究仍仅依赖准确率，这在数据分布偏斜时可能产生误导性结果。