[논문 리뷰] Machine Learning Approaches for Mental Illness Detection on Social Media: A Systematic Review of Biases and Methodological Challenges

Yuchen Cao, Jianglai Dai외 5명|arXiv (Cornell University)|2024. 10. 21.

Mental Health via WritingPsychology인용 수 3

한 줄 요약

이 체계적 리뷰는 소셜 미디어에서 우울증을 탐지하기 위한 기계학습 모델을 분석하여 기계학습 라이프사이클 전반에 걸쳐 심각한 편향과 방법론적 결함을 밝혀냈다. 연구는 영어로 된 트위터 데이터에 대한 과도한 의존, 비확률 표본 추출, 일관되지 않은 전처리, 클래스 불균형에 대한 부적절한 대응 등 광범위한 문제를 드러내며, 더 신뢰할 수 있고 일반화 가능한 모델을 위해 데이터 다양성 향상, 표준화된 관행, 보고 투명성 향상이 필요하다고 촉구한다.

ABSTRACT

The global increase in mental illness requires innovative detection methods for early intervention. Social media provides a valuable platform to identify mental illness through user-generated content. This systematic review examines machine learning (ML) models for detecting mental illness, with a particular focus on depression, using social media data. It highlights biases and methodological challenges encountered throughout the ML lifecycle. A search of PubMed, IEEE Xplore, and Google Scholar identified 47 relevant studies published after 2010. The Prediction model Risk Of Bias ASsessment Tool (PROBAST) was utilized to assess methodological quality and risk of bias. The review reveals significant biases affecting model reliability and generalizability. A predominant reliance on Twitter (63.8%) and English-language content (over 90%) limits diversity, with most studies focused on users from the United States and Europe. Non-probability sampling (80%) limits representativeness. Only 23% explicitly addressed linguistic nuances like negations, crucial for accurate sentiment analysis. Inconsistent hyperparameter tuning (27.7%) and inadequate data partitioning (17%) risk overfitting. While 74.5% used appropriate evaluation metrics for imbalanced data, others relied on accuracy without addressing class imbalance, potentially skewing results. Reporting transparency varied, often lacking critical methodological details. These findings highlight the need to diversify data sources, standardize preprocessing, ensure consistent model development, address class imbalance, and enhance reporting transparency. By overcoming these challenges, future research can develop more robust and generalizable ML models for depression detection on social media, contributing to improved mental health outcomes globally.

연구 동기 및 목표

• 소셜 미디어 데이터를 활용한 정신질환, 특히 우울증 탐지에 사용되는 기계학습 모델에서 발생하는 편향과 방법론적 과제를 식별하고 분석하기.
• 2010년 이후 출판된 47개의 관련 연구에서 방법론적 품질과 편향 위험을 평가하기.
• 기존 연구에서 데이터 다양성, 표본 추출 방식, 전처리 기법, 모델 평가 전략을 평가하기.
• 보고 투명성과 모델 개발, 하이퍼파라미터 튜닝 과정에서의 일관성 부족을 부각하기.
• 미래의 기계학습 모델이 정신건강 탐지 분야에서 더 신뢰성 있고 일반화 가능하며 윤리적으로 구현될 수 있도록 실질적인 권고안 제공하기.

제안 방법

• 2010년 이후 출판된 47개의 관련 연구를 식별하기 위해 PubMed, IEEE Xplore, Google Scholar를 활용한 체계적 문헌 검색을 실시하였다.
• 선택된 연구의 방법론적 품질과 편향 위험을 평가하기 위해 예측 모델 편향 평가 도구(PROBAST)를 적용하였다.
• 데이터 원천, 언어 분포, 표본 추출 방법, 전처리 관행, 하이퍼파라미터 튜닝, 평가 지표를 체계적으로 추출하고 분석하였다.
• 소셜 미디어 콘텐츠를 활용한 정신질환 탐지에서 데이터 표현, 모델 개발, 보고 투명성과 관련된 편향을 식별하는 데 중점을 두었다.
• 데이터 원천 사용, 언어, 지리적 초점, 방법론적 일관성 등의 추세를 평가하기 위해 연구 특성에 대한 정량적 분석을 수행하였다.
• 체계적인 과제를 부각하고 향후 연구를 위한 최선의 실천 방안을 제안하기 위해 결과를 통합 분석하였다.

실험 결과

연구 질문

• RQ1 기존의 정신질환 탐지 기계학습 연구에서 주로 사용되는 데이터 원천과 언어 분포는 무엇인가?
• RQ2 표본 추출, 전처리, 하이퍼파라미터 튜닝 등의 방법론적 관행이 편향을 초래하고 모델의 일반화 능력을 저하시키는 데 얼마나 기여하는가?
• RQ3 클래스 불균형이 정신건강 데이터셋에서 흔한 상황에서 평가 지표가 얼마나 일관되게 적용되고 있는가?
• RQ4 연구 간 보고 투명성과 방법론적 세부 정보의 주요 격차는 무엇인가?
• RQ5 데이터 수집 및 모델 개발 단계에서 발생하는 편향은 정신질환 탐지 시스템의 신뢰성과 윤리적 구현에 어떻게 영향을 미치는가?

주요 결과

• 63.8%의 연구가 트위터 데이터에만 의존했으며, 이 중 90% 이상의 콘텐츠가 영어로 되어 있어 언어적·문화적 다양성의 심각한 부족을 보였다.
• 80%의 연구가 비확률 표본 추출을 사용하여 모델 결과의 대표성과 일반화 가능성에 제한을 뒀다.
• 단지 23%의 연구만 언어적 뉘앙스, 특히 부정의 표현과 같은 요소를 명시적으로 다루었으며, 이는 정확한 정서 및 감정 분석에 필수적이다.
• 27.7%의 연구가 일관되지 않은 하이퍼파라미터 튜닝을 보고하여 과적합 위험과 모델 불안정성 증가를 초래했다.
• 17%의 연구가 부적절한 데이터 분할 전략을 사용하여 과적합 위험을 더욱 악화시켰다.
• 74.5%의 연구가 불균형 데이터에 적절한 평가 지표를 사용했지만, 많은 연구가 단지 정확도에 의존하여 편향된 데이터셋에서 결과를 오해하게 만들 수 있었다.