[論文レビュー] Machine Learning Approaches for Mental Illness Detection on Social Media: A Systematic Review of Biases and Methodological Challenges

Yuchen Cao, Jianglai Dai+5 more|arXiv (Cornell University)|Oct 21, 2024

Mental Health via WritingPsychology被引用数 3

ひとこと要約

本システマティックレビューでは、ソーシャルメディア上のうつ病を検出するための機械学習モデルを分析し、MLライフサイクル全体にわたる重大なバイアスおよびメソドロジカルな欠陥を特定した。広範な問題が浮き彫りになった。例えば、英語のTwitterデータに過度に依存していること、確率的でない標本抽出が行われていること、前処理の不一致、クラス不均衡の適切でない取り扱い。これらは、より良いデータ多様性、標準化された実践、報告の透明性を求めるものであり、より信頼性が高く一般化可能なモデルを実現するためのものである。

ABSTRACT

The global increase in mental illness requires innovative detection methods for early intervention. Social media provides a valuable platform to identify mental illness through user-generated content. This systematic review examines machine learning (ML) models for detecting mental illness, with a particular focus on depression, using social media data. It highlights biases and methodological challenges encountered throughout the ML lifecycle. A search of PubMed, IEEE Xplore, and Google Scholar identified 47 relevant studies published after 2010. The Prediction model Risk Of Bias ASsessment Tool (PROBAST) was utilized to assess methodological quality and risk of bias. The review reveals significant biases affecting model reliability and generalizability. A predominant reliance on Twitter (63.8%) and English-language content (over 90%) limits diversity, with most studies focused on users from the United States and Europe. Non-probability sampling (80%) limits representativeness. Only 23% explicitly addressed linguistic nuances like negations, crucial for accurate sentiment analysis. Inconsistent hyperparameter tuning (27.7%) and inadequate data partitioning (17%) risk overfitting. While 74.5% used appropriate evaluation metrics for imbalanced data, others relied on accuracy without addressing class imbalance, potentially skewing results. Reporting transparency varied, often lacking critical methodological details. These findings highlight the need to diversify data sources, standardize preprocessing, ensure consistent model development, address class imbalance, and enhance reporting transparency. By overcoming these challenges, future research can develop more robust and generalizable ML models for depression detection on social media, contributing to improved mental health outcomes globally.

研究の動機と目的

• ソーシャルメディアデータを用いた精神疾患、特にうつ病の検出のための機械学習モデルにおけるバイアスおよびメソドロジカルな課題を特定・分析すること。
• 2010年以降に発表された47件の関連研究における、メソドロジカルな質とバイアスのリスクを評価すること。
• 既存の研究におけるデータ多様性、標本抽出の方法、前処理技術、モデル評価戦略を評価すること。
• 報告の透明性およびモデル開発とハイパーパrameterチューニングにおける一貫性の欠如によるギャップを浮き彫りにすること。
• 今後の機械学習モデルが精神健康分野で信頼性があり一般化可能かつ倫理的に適切に展開されるよう、実行可能な提言を提供すること。

提案手法

• 2010年以降に発表された47件の関連研究を同定するために、PubMed、IEEE Xplore、Google Scholarを用いたシステマティックな文献レビューを実施した。
• 選定された研究におけるメソドロジカルな質とバイアスのリスクを評価するために、予測モデルのバイアスリスク評価ツール（PROBAST）を適用した。
• データソース、言語分布、標本抽出法、前処理の実践、ハイパーパrameterチューニング、評価指標を体系的に抽出・分析した。
• 精神疾患検出におけるソーシャルメディアコンテンツを用いた文脈で、データ表現、モデル開発、報告の透明性に関するバイアスを特定することに焦点を当てた。
• データソースの使用傾向、言語、地理的焦点、メソドロジカルな一貫性を評価するため、研究の特徴に関する定量的分析を実施した。
• 体系的な課題を浮き彫りにし、今後の研究に向けたベストプラクティスを提示するために、発見を統合した。

実験結果

リサーチクエスチョン

• RQ1 既存の機械学習研究における、精神疾患検出のための主なデータソースと言語分布は何か？
• RQ2 標本抽出、前処理、ハイパーパrameterチューニングといったメソドロジカルな実践が、バイアスとモデルの一般化可能性の低下にどの程度寄与しているか？
• RQ3 クラス不均衡が精神健康データセットに一般的に見られる中で、評価指標の適用はどの程度一貫しているか？
• RQ4 研究間で報告の透明性およびメソドロジカルな詳細の欠落が生じる主なギャップは何か？
• RQ5 データ収集およびモデル開発におけるバイアスは、精神疾患検出システムの信頼性および倫理的展開にどのように影響を与えるか？

主な発見

• 63.8%の研究がTwitterデータにのみ依存しており、90%以上のコンテンツが英語であるため、言語的・文化的多様性に著しい欠如が生じている。
• 80%の研究が確率的でない標本抽出を採用しており、モデルの結果の代表性および一般化可能性が制限されている。
• 前処理の段階で言語的ニュアンス（例：否定表現）を明示的に扱った研究はわずか23%にとどまり、感情分析の正確性にとって不可欠な要因である。
• 27.7%の研究が不一致なハイパーパrameterチューニングを報告しており、過学習およびモデルの不安定性のリスクが高まっている。
• 17%の研究が不適切なデータ分割戦略を採用しており、過学習のリスクがさらに増大している。
• 74.5%の研究が不均衡データに適切な評価指標を使用している一方で、多くの研究が単一の正解率に依存しており、歪んだデータセットでは誤った結論を導く可能性がある。