[논문 리뷰] Detecting Reddit Users with Depression Using a Hybrid Neural Network SBERT-CNN

Ziyi Chen, Ren Yang외 4명|arXiv (Cornell University)|2023. 02. 03.

Mental Health via Writing참고 문헌 42인용 수 6

한 줄 요약

이 논문은 자기 보고 정신 건강 데이터를 사용하여 레딧 사용자의 우울증을 탐지하기 위해 하이브리드 SBERT-CNN 신경망을 제안한다. SBERT에서 유도한 문장 임베딩와 CNN 기반의 시간적 패턴 학습을 융합함으로써, 모델은 86%의 정확도와 86%의 F1 스코어를 달성하여 이전의 최고 성능 모델들을 능가한다.

ABSTRACT

Depression is a widespread mental health issue, affecting an estimated 3.8% of the global population. It is also one of the main contributors to disability worldwide. Recently it is becoming popular for individuals to use social media platforms (e.g., Reddit) to express their difficulties and health issues (e.g., depression) and seek support from other users in online communities. It opens great opportunities to automatically identify social media users with depression by parsing millions of posts for potential interventions. Deep learning methods have begun to dominate in the field of machine learning and natural language processing (NLP) because of their ease of use, efficient processing, and state-of-the-art results on many NLP tasks. In this work, we propose a hybrid deep learning model which combines a pretrained sentence BERT (SBERT) and convolutional neural network (CNN) to detect individuals with depression with their Reddit posts. The sentence BERT is used to learn the meaningful representation of semantic information in each post. CNN enables the further transformation of those embeddings and the temporal identification of behavioral patterns of users. We trained and evaluated the model performance to identify Reddit users with depression by utilizing the Self-reported Mental Health Diagnoses (SMHD) data. The hybrid deep learning model achieved an accuracy of 0.86 and an F1 score of 0.86 and outperformed the state-of-the-art documented result (F1 score of 0.79) by other machine learning models in the literature. The results show the feasibility of the hybrid model to identify individuals with depression. Although the hybrid model is validated to detect depression with Reddit posts, it can be easily tuned and applied to other text classification tasks and different clinical applications.

연구 동기 및 목표

• 사용자의 레딧 게시글을 기반으로 우울증이 있는 개인을 식별할 수 있는 딥 러닝 모델을 개발하는 것.
• 소셜 미디어 텍스트에서 우울증을 탐지하는 데 있어 기존 머신 러닝 모델을 향상시키는 것.
• SBERT를 통한 의미 표현과 CNN를 통한 순차적 행동 패턴 탐지의 융합 효과를 탐색하는 것.
• 실제 적용 가능성을 검증하기 위해 Self-reported Mental Health Diagnoses (SMHD) 데이터셋에서 모델을 검증하는 것.
• 모델이 임상 NLP 및 텍스트 분류 작업 전반에 걸쳐 널리 활용될 잠재력을 입증하는 것.

제안 방법

• 모델은 개별 레딧 게시글에서 문맥 기반 문장 임베딩를 생성하기 위해 사전 훈련된 Sentence BERT (SBERT) 인코더를 사용한다.
• 이러한 SBERT 임베딩는 사용자 게시 행동의 국소적이고 순차적인 패턴을 추출하기 위해 컨volutional 신경망(CNN)에 입력된다.
• CNN은 다양한 크기의 필터를 적용하여 임베딩 시퀀스 전반에 걸쳐 n-gram 수준의 특징을 캡처함으로써 시간적 패턴 인식을 가능하게 한다.
• 최종 분류 헤드는 글로벌 맥스 풀링과 완전 연결층을 통해 풀링된 특징에서 우울증 상태를 예측한다.
• 모델은 이진 교차 엔트로피 손실과 Adam 최적화를 사용하여 SMHD 데이터셋에서 엔드 투 엔드로 훈련된다.
• 하이퍼파라미터는 그리드 서치를 통해 튜닝되며, 모델 성능은 F1 스코어 및 정확도와 같은 표준 NLP 메트릭을 사용해 평가된다.

실험 결과

연구 질문

• RQ1 하이브리드 SBERT-CNN 모델은 사용자들의 텍스트 게시글을 기반으로 레딧 사용자에서의 우울증을 효과적으로 탐지할 수 있는가?
• RQ2 SBERT-CNN 모델의 성능은 기존 최고 성능 모델들과 비교해 소셜 미디어에서의 우울증 탐지에 있어 어떻게 다른가?
• RQ3 의미 표현(SBERT)과 순차적 패턴 학습(CNN)의 융합이 탐지 정확도를 얼마나 향상시키는가?
• RQ4 제안된 모델은 임상 NLP의 다른 텍스트 분류 작업에 일반화 가능한가?

주요 결과

• 하이브리드 SBERT-CNN 모델은 SMHD 데이터셋에서 86%의 정확도를 기록하여 강력한 예측 성능를 입증하였다.
• 모델은 F1 스코어 86%를 달성하여 이전 최고 성능 결과인 79%를 크게 능가하였다.
• SBERT를 통한 의미 표현과 CNN를 통한 순차적 특징 학습의 융합은 모델의 강건성과 탐지 능력을 향상시켰다.
• 모델의 성능는 사회 미디어 플랫폼에서의 조기 우울증 탐지에 대한 실질적 구현 가능성을 시사한다.
• 이 아키텍처는 우울증 탐지 외의 다른 임상 NLP 작업에 대해서도 적응 가능하며, 토닝이 가능하다.