[논문 리뷰] Multi Class Depression Detection Through Tweets using Artificial Intelligence

Muhammad Osama Nusrat, Waseem Shahzad외 1명|arXiv (Cornell University)|2024. 04. 19.

Brain Tumor Detection and ClassificationNeuroscience인용 수 3

한 줄 요약

이 연구는 BERT와 해석 가능한 인공지능(XAI)을 사용하여 트위터 트윗에서 다섯 가지 유형의 우울증—이분법성, 중증, 정서병성, 특이형, 산욕성—을 분류하는 다중 클래스 우울증 탐지 시스템을 제안한다. 어휘 기반 레이블링과 미세조정된 BERT를 활용하여 모델은 96%의 정확도를 달성했으며, 해석 가능한 인공지능은 트윗 내 우울 언어의 핵심 요소를 강조하여 해석 가능성과 투명성을 확보했다.

ABSTRACT

Depression is a significant issue nowadays. As per the World Health Organization (WHO), in 2023, over 280 million individuals are grappling with depression. This is a huge number; if not taken seriously, these numbers will increase rapidly. About 4.89 billion individuals are social media users. People express their feelings and emotions on platforms like Twitter, Facebook, Reddit, Instagram, etc. These platforms contain valuable information which can be used for research purposes. Considerable research has been conducted across various social media platforms. However, certain limitations persist in these endeavors. Particularly, previous studies were only focused on detecting depression and the intensity of depression in tweets. Also, there existed inaccuracies in dataset labeling. In this research work, five types of depression (Bipolar, major, psychotic, atypical, and postpartum) were predicted using tweets from the Twitter database based on lexicon labeling. Explainable AI was used to provide reasoning by highlighting the parts of tweets that represent type of depression. Bidirectional Encoder Representations from Transformers (BERT) was used for feature extraction and training. Machine learning and deep learning methodologies were used to train the model. The BERT model presented the most promising results, achieving an overall accuracy of 0.96.

연구 동기 및 목표

• 소셜 미디어에서의 다중 클래스 우울증 탐지에 대한 격차를 해소하기 위해 트위터 데이터에서 다섯 가지 다른 우울증 유형을 분류하고자 한다.
• BERT와 해석 가능한 인공지능(XAI) 기법을 융합하여 우울증 탐지의 정확도와 해석 가능성 향상을 도모하고자 한다.
• 다중 클래스 우울증 분류를 위한 새로운 공개 데이터셋을 구축하고자 하며, 약 23,000건의 레이블링된 트윗을 포함한다.
• 이전의 단일 클래스 또는 양성 우울증 탐지 모델의 한계를 극복하기 위해 세분화된 분류 기능을 제공하고자 한다.
• LIME 및 SHAP를 활용한 모델 해석성을 통해 우울증 언어 패턴에 대한 실질적인 통찰을 제공하고자 한다.

제안 방법

• 임상 기준과 전문가 검증을 바탕으로 수작업으로 다섯 가지 우울증 유형에 레이블링한 약 23,000건의 트위터 트윗을 수집하고 정제했다.
• 초기 우울증 유형 분류를 위한 사전 레이블링을 위해 어휘 기반 레이블링 기법을 적용했다.
• 다중 클래스 우울증 데이터셋에서 문장 분류를 위해 BERT 모델을 미세조정했다.
• 분류 성능을 평가하기 위해 다양한 기계학습 모델(예: 랜덤 포레스트)과 딥러닝 모델(예: BERT)을 훈련하고 비교했다.
• LIME 및 SHAP를 활용해 해석 가능한 인공지능(XAI)을 적용하여 트윗 내 특정 단어나 어구가 분류 결정에 기여한 부분을 강조했다.
• 텍스트 전처리, 시퀀스 토큰화, BERT의 어텐션 메커니즘을 활용해 분류를 위한 문맥 기반 표현을 추출했다.

실험 결과

연구 질문

• RQ1 BERT와 같은 딥러닝 모델이 짧고 비공식적인 트위터 텍스트에서 다섯 가지 다른 우울증 유형을 효과적으로 분류할 수 있는가?
• RQ2 전통적인 기계학습 모델(예: 랜덤 포레스트)에 비해 BERT는 소셜 미디어에서의 다중 클래스 우울증 탐지에서 어떤 성능을 보이는가?
• RQ3 LIME 및 SHAP와 같은 해석 가능한 인공지능(XAI) 기법이 우울증 유형 예측에 대해 유의미하고 해석 가능한 설명을 제공할 수 있는 정도는 어느 정도인가?
• RQ4 모델이 식별한 바에 따르면, 특정 우울증 유형을 가장 잘 나타내는 주요 언어적 지표는 무엇인가?
• RQ5 데이터셋의 품질과 레이블 일관성은 우울증 탐지 모델의 신뢰성과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• BERT 기반 모델은 트윗에서 다섯 가지 우울증 유형을 분류하는 데 총합 96%의 정확도를 기록하여 가장 높은 성능을 보였다.
• 랜덤 포레스트 분류기는 94.7%의 정확도로 전통적 기계학습 모델 중에서 두 번째로 뛰어난 성능을 보였다.
• 해석 가능한 인공지능 기법(LIME 및 SHAP)은 '이분법성'과 '장애'와 같은 특정 단어들이 이분법성 우울증 예측에 기여했음을 성공적으로 강조했다.
• 모델의 해석 가능성 덕분에 임상의 및 연구자들이 예측의 결정 근거를 텍스트 내 특정 언어적 단서로 추적하고 검증할 수 있었다.
• 연구에서는 다양한 우울증 유형 간 공통적인 언어적 특징을 발견하여, 유사한 증상 표현이 존재해 세분화된 분류에 도전을 안기는 것으로 나타났다.
• 데이터셋 크기의 제한(약 23,000건의 트윗)에도 불구하고, 모델은 주로 중증 및 산욕성 우울증에 대해 높은 일반화 능력을 보였다.