[논문 리뷰] Towards Preemptive Detection of Depression and Anxiety in Twitter

David Owen, José Camacho-Collados외 1명|arXiv (Cornell University)|2020. 11. 10.

Mental Health via Writing참고 문헌 20인용 수 12

한 줄 요약

이 논문은 이진 트윗 분류를 통해 우울증과 불안을 탐지하기 위한 트위터 기반 데이터셋인 DATD를 소개하며, 최신 언어 모델(예: BERT, ALBERT)과 전통적 분류기(예: TF-IDF 및 워드 임베딩를 사용한 SVM)를 평가한다. 결과적으로, 균형 잡힌 데이터에서는 사전 훈련된 언어 모델이 전통적 방법을 능가하지만, 클래스 불균형과 역설적인 언어적 특성으로 인해 성능 격차가 발생함을 확인하여 정신 건강 탐지 시스템의 더 나은 문맥 이해 필요성을 강조한다.

ABSTRACT

Depression and anxiety are psychiatric disorders that are observed in many areas of everyday life. For example, these disorders manifest themselves somewhat frequently in texts written by nondiagnosed users in social media. However, detecting users with these conditions is not a straightforward task as they may not explicitly talk about their mental state, and if they do, contextual cues such as immediacy must be taken into account. When available, linguistic flags pointing to probable anxiety or depression could be used by medical experts to write better guidelines and treatments. In this paper, we develop a dataset designed to foster research in depression and anxiety detection in Twitter, framing the detection task as a binary tweet classification problem. We then apply state-of-the-art classification models to this dataset, providing a competitive set of baselines alongside qualitative error analysis. Our results show that language models perform reasonably well, and better than more traditional baselines. Nonetheless, there is clear room for improvement, particularly with unbalanced training sets and in cases where seemingly obvious linguistic cues (keywords) are used counter-intuitively.

연구 동기 및 목표

• 트위터 게시물에서 우울증과 불안을 탐지하기 위한 고품질의 공개 데이터셋(DATD)을 개발하는 것.
• 이 탐지 작업에 대해 최신 사전 훈련된 언어 모델(예: BERT, ALBERT)과 전통적 기계 학습 모델(예: TF-IDF 및 워드 임베딩를 사용한 SVM)의 성능을 평가하는 것.
• 특히 클래스 불균형과 역설적인 언어적 특성에 대한 현재 모델의 한계를 규명하는 것.
• 모델 실패 원인에 대한 질적 통찰을 제공하고 정신 건강 탐지 시스템의未래 개선 방향을 제시하는 것.

제안 방법

• 2018년 5월부터 2019년 8월까지 트위터의 Stream API를 사용해 영어 트윗 120만 건을 수집하였다.
• 전문가가 1,000개의 트윗을 정성껏 애너테이션하여, 우울증/불안을 암시하는 경우(1) 또는 그렇지 않은 경우(0)로 레이블링하였으며, 이중 애너테이터 간 일致도는 Fleiss’ kappa = 0.63로 측정되었다.
• TF-IDF 특징과 사전 훈련된 워드 임베딩(GloVe)을 조합하여, 전처리 여부에 따라 SVM 분류기에 적용하였다.
• BERT와 ALBERT를 DATD 데이터셋에 맞춰 프inetuning하여 엔드 투 엔드 분류를 수행하였으며, 트위터 전용 데이터에 대한 추가 프inetuning 없이도 문맥적 표현을 활용하였다.
• 두 가지 실험 설정을 수행하였다: DATD(원본 분할)와 DATD+Rand(라벨을 무작위로 재배치)로 모델의 강인성 평가를 수행하였다.
• 잘못 분류된 트윗에 대한 질적 분석을 수행하여, 농담,隐喩, 또는 비문학적 표현 등 탐지에 실패하는 언어 패턴을 규명하였다.

실험 결과

연구 질문

• RQ1 BERT 및 ALBERT와 같은 사전 훈련된 언어 모델은 TF-IDF 및 워드 임베딩를 사용한 전통적 분류기(예: SVM)와 비교해 트위터 게시물에서 우울증과 불안을 탐지하는 데 어떻게 성능을 내는가?
• RQ2 훈련 데이터의 클래스 불균형이 다양한 분류 모델의 성능에 어느 정도 영향을 미치는가?
• RQ3 특히 비문학적 또는 역설적인 표현 방식을 포함한 언어 패턴은 어떤 유형이 모델의 잘못된 분류를 유발하는가?
• RQ4 어떤 모델이 다른 모델보다 성공하는가? 특히 세계 지식이나 의미적 이해가 필요한 경우에 대해 설명하라.
• RQ5 잘못 분류된 예시에 대한 질적 분석은 현재 모델의 정신 건강 탐지에 있어 체계적인 한계를 드러내는가?

주요 결과

• BERT는 DATD 데이터셋에서 F1 스코어 0.737을 기록하여, 트위터 데이터에 대한 프inetuning 없이도 뛰어난 성능을 보였다.
• DATD+Rand 설정에서 ALBERT는 가장 높은 리콜(0.880)을 기록하여, 불균형한 설정에서 긍정 케이스에 대한 민감도가 뛰어나다는 것을 시사했다.
• TF-IDF와 워드 임베딩 특징을 조합한 SVM는 F1 스코어 0.750을 기록하여, 단순한 TF-IDF 또는 워드 임베딩 기반 베이스라인보다 뛰어난 성능을 보였다.
• 사소한 기준(모든 레이블을 긍정으로 예측)은 100% 리콜을 기록했지만 정밀도는 50%에 불과했으며 F1 스코어는 0.670에 머물렀다. 이는 클래스 불균형 문제의 어려움을 보여준다.
• 예를 들어 "노란 전화 케이스를 들고 있는데, 그것이 내 우울증을 낫게 해줄 거라 기대한다"와 같은 농담이나 은유적 표현을 담은 트윗은 BERT와 하이브리드 특징을 사용한 SVM를 제외한 모든 모델에서 잘못 분류되었다. 이는 더 깊은 의미적 이해의 필요성을 시사한다.
• 질적 분석 결과, 모델는 종종 긍정적 어휘가 부정적 맥락에서 사용된 경우에 실패하며, 오직 언어 모델(LMs)만이 맥락적으로 뉘앙스 있는 표현(예: "이 게임 보는 거 보면 빌런들 스트레스 받을 법도 하다. 하지만 이 게임 진짜 짱이다")을 정확히 이해하는 것으로 나타났다.