[논문 리뷰] Monitoring Depression Trend on Twitter during the COVID-19 Pandemic

Yipeng Zhang, Hanjia Lyu외 4명|arXiv (Cornell University)|2020. 07. 01.

Mental Health via Writing참고 문헌 34인용 수 29

한 줄 요약

이 연구는 코로나19 패an드믹 기간 동안 정신 건강 추세를 모니터링하기 위해 가장 큰 공개 가능한 영어 트위터 우울증 데이터셋(2,575명의 확인된 사용자)을 소개하고, BERT, RoBERTa, XLNet 등의 트랜스포머 기반 모델을 훈련시켰다. 심리적 특징과 인구통계학적 데이터를 딥러닝과 융합함으로써 분류 정확도가 향상되었고, 특히 주요 패안드믹 이벤트 기간 동안 그룹 수준과 인구 수준 분석에서 우울증 신호가 증가하는 경향을 확인했다.

ABSTRACT

The COVID-19 pandemic has severely affected people's daily lives and caused tremendous economic loss worldwide. However, its influence on people's mental health conditions has not received as much attention. To study this subject, we choose social media as our main data resource and create by far the largest English Twitter depression dataset containing 2,575 distinct identified depression users with their past tweets. To examine the effect of depression on people's Twitter language, we train three transformer-based depression classification models on the dataset, evaluate their performance with progressively increased training sizes, and compare the model's "tweet chunk"-level and user-level performances. Furthermore, inspired by psychological studies, we create a fusion classifier that combines deep learning model scores with psychological text features and users' demographic information and investigate these features' relations to depression signals. Finally, we demonstrate our model's capability of monitoring both group-level and population-level depression trends by presenting two of its applications during the COVID-19 pandemic. We hope this study can raise awareness among researchers and the general public of COVID-19's impact on people's mental health.

연구 동기 및 목표

• 코로나19 패안드믹과 같은 글로벌 위기 상황에서 소셜 미디어에서의 우울증을 연구하기 위한 대규모 공개 데이터셋이 부족한 문제를 해결하기 위해.
• 5,150명의 사용자로 구성된 대규모 정제된 데이터셋을 활용해 트랜스포머 기반 모델을 개발하고 평가하여 트위터 사용자 내 우울증을 탐지하기 위해.
• 딥러닝 모델의 성능을 뛰어넘기 위해 심리적, 언어적, 인구통계학적 특징이 어떻게 우울증 분류 정확도를 향상시키는지 조사하기 위해.
• 패안드믹 기간 동안 그룹 수준(예: 우울증이 있는 사용자 대비 없는 사용자)과 인구 수준(예: 미국 주 수준)에서 실시간으로 우울증 추세를 모니터링하기 위해 모델을 적용하기 위해.
• 소셜 미디어에서의 공개된 감성 데이터 기반으로 확장 가능한 감시를 통해 패안드믹의 정신 건강 영향에 대한 인식을 제고하기 위해.

제안 방법

• 2,575명의 우울증 확인 사용자와 2,575명의 대조군을 포함한 총 5,150명의 사용자로 구성된 대규모 트위터 우울증 데이터셋을 구축하였으며, 250단어씩 나누어진 총 32,420개의 트윗 조각을 포함하였다.
• 성능 스케일링을 평가하기 위해 점진적으로 증가하는 훈련 서브셋을 사용해 세 가지 최신 트랜스포머 모델(BERT, RoBERTa, XLNet)을 훈련하고 평가하였다.
• 트윗 수준 및 사용자 수준의 분류를 가능하게 하기 위해 청크화 및 재조합 방법을 구현하여 모델의 강건성과 평가 정밀도를 향상시켰다.
• 딥러닝 모델 출력값과 심리적 특징(LIWC, 감성), 성격 특성, 인구통계학적 데이터를 융합한 융합 분류기(fusion classifier)를 개발하여 예측 정확도를 향상시켰다.
• 잠재 디리슈레트 분포 분석(LDA)을 적용하여 미국 국가 비상사태 선언과 같은 주요 패안드믹 이벤트 이전과 이후의 트윗에서 지배적인 주제를 분석하였다.
• 미국 내 지리적 위치가 특정된 사용자들의 우울증 점수를 집계하여 주 수준 및 국가 수준의 추세를 추적하였으며,紐욕, 캘리포니아, 플로리다 주를 비교하였다.

실험 결과

연구 질문

• RQ1 대규모 정제된 트위터 데이터셋에서 트랜스포머 기반 모델의 우울증 탐지 성능은 훈련 데이터 크기가 증가함에 따라 어떻게 변화하는가?
• RQ2 심리적 및 인구통계학적 특징은 딥러닝 모델의 우울증 분류 정확도를 얼마나 향상시키는가?
• RQ3 주요 공중보건 발표 이후, 특히 우울증이 있는(DP) 및 없는(ND) 사용자 그룹의 우울증 수준은 시간이 지남에 따라 어떻게 변화하는가?
• RQ4 미국 국가 비상사태 선언 이전과 이후의 사용자 트윗에서 지배적인 주제는 무엇이며, 이는 우울증 신호의 변화와 어떻게 관련되는가?
• RQ5 모델은 미국 주 수준에서 인구 통계적 우울증 추세를 탐지하고 추적할 수 있는가? 그리고 정서와 주제 집중도의 지역적 차이는 이러한 추세와 어떻게 관련되는가?

주요 결과

• 모든 세 가지 트랜스포머 모델(BERT, RoBERTa, XLNet)의 성능은 훈련 데이터 크기가 증가함에 따라 유의미하게 향상되었으며, 대규모 데이터셋의 가치를 입증하였다.
• 딥러닝 모델 출력값과 LIWC, 감성, 인구통계학적 특징을 융합한 융합 분류기는 단독 딥러닝 모델보다 더 높은 정확도를 달성하여 심리적 및 맥락적 특징의 추가적 가치를 입증하였다.
• 미국 국가 비상사태 선언 이후 비우울증(ND) 사용자 그룹의 우울증 수준이 유의미하게 증가한 반면, 우울증(DP) 사용자 그룹은 약간 감소하는 경향을 보여, 외부 스트레서에 대한 감수성의 이질적 반응을 시사하였다.
• 미국 국가 비상사태 선언 이후, DP 및 ND 사용자 모두에서 가장 빈번한 주제는 '코로나19 기간 동안의 우울증과 불안'이었으며, 이는 패안드믹 관련 논의와 우울증 신호의 상승 사이에 강한 상관관계가 있음을 시사한다.
• 뉴욕, 캘리포니아, 플로리다 주 모두 유사한 우울증 추세 패턴을 보였다: 비상사태 선언 이전에 일시적 감소, 이후 상승, 일시적 하락, 그리고 5월 10일 이후 급격한 상승. 플로리다 주는 일관되게 더 낮은 전체 우울증 점수를 기록하였다.
• 주 수준의 주제 모델링 결과, 뉴욕 사용자들은 병원 뉴스를 가장 자주 다루었고, 플로리다 및 캘리포니아 사용자들은 국립 평균 대비 패안드믹으로 인한 정부 정책 및 삶의 변화에 더 높은 관심을 보였다.