[논문 리뷰] Data set creation and empirical analysis for detecting signs of depression from social media postings

S Kayalvizhi, D Thenmozhi|arXiv (Cornell University)|2022. 02. 07.

Mental Health via WritingPsychology인용 수 18

한 줄 요약

이 논문은 레딧 게시물에서 사회적 미디어 텍스트를 이용해 '우울하지 않음', '중등도로 우울함', '심각하게 우울함'의 세 가지 수준의 우울증을 탐지하기 위한 새로운 공개 데이터셋을 소개한다. 전통적인 기계학습 모델을 사용하고 SMOTE를 통한 데이터 증강을 적용하여 Word2Vec 임베딩과 랜덤 포레스트 분류기로 F1 점수와 정확도가 각각 0.877에 도달했으며, 불균형 데이터에서 성능 향상이著명하게 이루어졌다.

ABSTRACT

Depression is a common mental illness that has to be detected and treated at an early stage to avoid serious consequences. There are many methods and modalities for detecting depression that involves physical examination of the individual. However, diagnosing mental health using their social media data is more effective as it avoids such physical examinations. Also, people express their emotions well in social media, it is desirable to diagnose their mental health using social media data. Though there are many existing systems that detects mental illness of a person by analysing their social media data, detecting the level of depression is also important for further treatment. Thus, in this research, we developed a gold standard data set that detects the levels of depression as `not depressed', `moderately depressed' and `severely depressed' from the social media postings. Traditional learning algorithms were employed on this data set and an empirical analysis was presented in this paper. Data augmentation technique was applied to overcome the data imbalance. Among the several variations that are implemented, the model with Word2Vec vectorizer and Random Forest classifier on augmented data outperforms the other variations with a score of 0.877 for both accuracy and F1 measure.

연구 동기 및 목표

• 사회적 미디어 텍스트에서 단순히 우울증을 탐지하는 것뿐만 아니라 그 심각도 수준까지 탐지하는 데 있어 연구 격차를 해소하기 위해.
• 세 가지 우울증 심각도 수준('우울하지 않음', '중등도로 우울함', '심각하게 우울함')으로 annotation된 황금 표준 공개 데이터셋을 구축하기 위해.
• 이 데이터셋에서 전통적인 기계학습 모델을 실증적으로 평가하고, 데이터 증강이 모델 성능에 미치는 영향을 평가하기 위해.
• 사회적 미디어 데이터를 활용한 계산적 정신건강 연구 분야의 향후 기준 성능을 제공하기 위해.

제안 방법

• 정신건강에 초점된 레딧 서브레딧, 예를 들어 r/depression 및 r/Anxiety에서 사회적 미디어 텍스트를 수집하였다.
• 분야 전문가를 활용해 각 게시물을 '우울하지 않음', '중등도로 우울함', 또는 '심각하게 우울함' 중 하나의 클래스로 annotation하였다.
• 세 가지 임베딩 기법(TF-IDF, GloVe, Word2Vec)을 사용해 텍스트 특징을 추출하였다.
• 불균형 데이터셋을 균형 있게 만들기 위해 합성 少수 클래스 오버샘플링 기법(SMOTE)을 적용하였으며, 특히 '중등도로 우울함' 클래스의 과잉 표현 문제를 해결하기 위해 사용하였다.
• 원본 데이터와 증강된 데이터를 모두 사용해 랜덤 포레스트, SVM, KNN, 로지스틱 회귀, MLP 등의 여러 전통적 분류기 모델을 훈련하고 평가하였다.
• F1 점수와 정확도와 같은 지표를 사용해 모델 성능을 비교하였으며, 특히 데이터 증강의 영향에 중점을 두었다.

실험 결과

연구 질문

• RQ1 전문가가 annotation한 레딧 게시물을 활용해 사회적 미디어 텍스트에서 다중 클래스의 우울증 심각도 수준을 효과적으로 구성할 수 있는가?
• RQ2 이 새로운 데이터셋으로 훈련된 전통적 기계학습 모델은 어떤 성능을 보이며, 우울증 심각도 수준을 분류하는 데 얼마나 효과적인가?
• RQ3 SMOTE를 통한 데이터 증강이 이 불균형 우울증 심각도 데이터셋에서 모델 성능을 얼마나 향상시키는가?
• RQ4 TF-IDF, GloVe, Word2Vec 중 어떤 텍스트 표현 기법이 주어진 분류기와 조합했을 때 가장 높은 성능을 내는가?
• RQ5 사회적 미디어 텍스트에서 우울증 수준을 탐지하기 위한 최적의 모델 구성(임베딩 + 분류기)은 무엇인가?

주요 결과

• Word2Vec 임베딩과 랜덤 포레스트 분류기를 사용한 모델이 증강된 데이터셋에서 가장 높은 성능을 보였으며, F1 점수와 정확도가 모두 0.877에 도달했다.
• SMOTE를 통한 데이터 증강 덕분에 기준 모델 대비 F1 점수는 23% 향상되고 정확도는 12% 향상되었다.
• 시험한 분류기들 중에서 랜덤 포레스트가 항상 다른 모델보다 뛰어났으며, 특히 데이터 증강 후에는 F1 점수 0.877을 기록해 최고 성능을 냈다.
• '중등도로 우울함' 클래스가 다른 두 클래스보다 현저히 더 높은 빈도를 보였으며, 이는 SMOTE와 같은 데이터 균형 기법의 필요성을 시사한다.
• Word2Vec와 랜덤 포레스트를 조합한 모델은 강건성과 일반화 능력이 뛰어나, 동일한 데이터셋에서 TF-IDF와 GloVe를 사용한 모델들을 능가했다.
• 이 데이터셋은 GitHub에 공개되어 있어 재현성과 향후 계산적 정신건강 연구 분야의 기준 성능 평가를 가능하게 한다.