[논문 리뷰] Mental Illness Classification on Social Media Texts using Deep Learning and Transfer Learning

Iqra Ameer, Muhammad Arif외 3명|arXiv (Cornell University)|2022. 07. 03.

Mental Health via Writing인용 수 28

한 줄 요약

이 논문은 Reddit 게시물에서 다중 클래스 정신 질환 탐지를 위해 전통적 ML, 딥 러닝, 및 전이 학습 모델을 비교하고, RoBERTa를 0.83 정확도로 최적의 전이 학습 접근법으로 제시합니다. Bi-LSTM도 DL 방법들 중에서 양호한 성능을 보입니다.

ABSTRACT

Given the current social distance restrictions across the world, most individuals now use social media as their major medium of communication. Millions of people suffering from mental diseases have been isolated due to this, and they are unable to get help in person. They have become more reliant on online venues to express themselves and seek advice on dealing with their mental disorders. According to the World health organization (WHO), approximately 450 million people are affected. Mental illnesses, such as depression, anxiety, etc., are immensely common and have affected an individuals' physical health. Recently Artificial Intelligence (AI) methods have been presented to help mental health providers, including psychiatrists and psychologists, in decision making based on patients' authentic information (e.g., medical records, behavioral data, social media utilization, etc.). AI innovations have demonstrated predominant execution in numerous real-world applications broadening from computer vision to healthcare. This study analyzes unstructured user data on the Reddit platform and classifies five common mental illnesses: depression, anxiety, bipolar disorder, ADHD, and PTSD. We trained traditional machine learning, deep learning, and transfer learning multi-class models to detect mental disorders of individuals. This effort will benefit the public health system by automating the detection process and informing appropriate authorities about people who require emergency assistance.

연구 동기 및 목표

• COVID-19 및 사회적 거리두기로 인한 온라인 커뮤니케이션 증가로 자동화된 정신건강 선별의 필요성을 제시한다.
• Reddit 게시물에서 다섯 가지 정신 질환과 none 클래스를 탐지하는 가능성을 조사한다.
• 표준화된 Reddit 데이터셋에서 전통 기계학습, 딥 러닝, 및 전이 학습 접근법을 비교한다.
• 짧은 게시물에서 우울 및 불안의 탐지에 대한 클래스별 성능을 평가하고 도전과제를 분석한다.

제안 방법

• TF-IDF 단어 n-gram(최대 길이 3)으로 네 가지 전통 ML 분류기를 적용한다.
• GRU, Bi-GRU, CNN, LSTM, 및 Bi-LSTM를 포함한 딥 러닝 모델을 평가한다.
• 데이터셋에 대해 사전 학습된 변환기 모델 BERT, XLNet, RoBERTa를 미세 조정한다.
• 다중 클래스 분류를 위한 기본 전이 학습 접근법으로 사전 학습된 RoBERTa 기본 모델을 사용한다.
• 평가를 위해 train/dev/test 분할이 있는 16,930개의 Reddit 데이터셋을 제공된 데이터로 사용한다.

Figure 1: Mental Illness Dataset Statistics

실험 결과

연구 질문

• RQ1 전통 ML 방법이 n-gram 특징으로 Reddit 정신 질환 분류에서 경쟁력 있는 정확도를 달성할 수 있는가?
• RQ2 이 작업에서 딥 러닝 모델이 전통 ML보다 성능이 우수한가?
• RQ3 전이 학습 모델(BERT, XLNet, RoBERTa) 중 어떤 모델이 Reddit에서 다중 클래스 정신 질환 탐지에 가장 좋은 성능을 보이는가?
• RQ4 none 클래스를 모델이 얼마나 잘 구별하는지 및 정신 질환 클래스 간에 흔한 오류는 무엇인가?

주요 결과

• RoBERTa가 테스트된 모델 중 전체 정확도 0.83 및 F1-점수 0.83으로 가장 높은 성능을 보였다.
• XLNet은 RoBERTa에 근접한 정확도 0.79 및 F1-점수 0.80을 기록했다.
• Bi-LSTM은 딥 러닝 모델 중에서 0.78의 정확도 및 0.79의 F1-점수로 최고의 성능을 보였다.
• 전통 ML이 단어 1–3-그램으로도 0.78의 정확도 및 0.67의 F1-점수를 달성해 경쟁력 있는 성능을 보였다.
• ROBOTa 클래스별 결과는 none에 대해 매우 높은 성능(F1 0.98)을 보이고, ADHD와 PTSD에서 우울 및 불안보다 더 높은 F1을 달성하는 등 질환 클래스 간에 상당한 차이가 있음을 보여준다.
• RoBERTa는 none-클래스 게시물을 높은 정밀도와 재현율로 올바르게 식별할 수 있어 비질환 콘텐츠에 대한 위양성(False Positive)이 낮음을 시사한다.

Figure 2: RoBERTa confusion matrix