[논문 리뷰] Feature Studies to Inform the Classification of Depressive Symptoms from Twitter Data for Population Health

Danielle L. Mowery, Craig J. Bryan외 1명|arXiv (Cornell University)|2017. 01. 28.

Mental Health via Writing참고 문헌 14인용 수 23

한 줄 요약

이 연구는 지능형 기계학습을 사용하여 트위터 데이터에서 우울 증상을 분류하기 위한 특징 집합을 평가한다. 간단한 어휘적 특징(예: 유니그램)과 소규모, 상위 순위 특징 집합—특히 피로나 우울한 기분 같은 증상에 대해—는 더 큰 특징 집합과 비교해도 높은 분류 성능를 달성할 수 있음을 발견하여, 인구 수준의 정신 건강 모니터링을 위한 효율적인 모델을 제안한다.

ABSTRACT

The utility of Twitter data as a medium to support population-level mental health monitoring is not well understood. In an effort to better understand the predictive power of supervised machine learning classifiers and the influence of feature sets for efficiently classifying depression-related tweets on a large-scale, we conducted two feature study experiments. In the first experiment, we assessed the contribution of feature groups such as lexical information (e.g., unigrams) and emotions (e.g., strongly negative) using a feature ablation study. In the second experiment, we determined the percentile of top ranked features that produced the optimal classification performance by applying a three-step feature elimination approach. In the first experiment, we observed that lexical features are critical for identifying depressive symptoms, specifically for depressed mood (-35 points) and for disturbed sleep (-43 points). In the second experiment, we observed that the optimal F1-score performance of top ranked features in percentiles variably ranged across classes e.g., fatigue or loss of energy (5th percentile, 288 features) to depressed mood (55th percentile, 3,168 features) suggesting there is no consistent count of features for predicting depressive-related tweets. We conclude that simple lexical features and reduced feature sets can produce comparable results to larger feature sets.

연구 동기 및 목표

• 트위터 데이터에서 우울 증상을 분류하기 위한 다양한 특징 그룹의 예측 능력을 평가하기 위해.
• 개별 우울 증상에 대해 분류 성능을 최대화하는 상위 순위 특징의 최적 부분집합을 규명하기 위해.
• 효율적이고 높은 성능을 보이는 특징 집합을 식별하여 확장 가능한 인구 수준의 정신 건강 모니터링을 지원하기 위해.
• 어휘적, 정서적, 감성, 인구통계학적, 성격 기반 특징들이 우울 증상을 구분하는 데 기여하는 정도를 평가하기 위해.
• 소셜 미디어 데이터를 활용한 실시간 대규모 정신 건강 감시 시스템 설계를 안내하기 위해.

제안 방법

• 각 특징 그룹(예: 어휘적, 정서적, 감성적)을 제거했을 때 F1 점수 성능에 미치는 영향을 측정하기 위해 특징 제거 실험을 수행했다.
• 각 우울 증상 유형에 대해 최적의 상위 순위 특징 퍼센티지 집합을 도출하기 위해 3단계 특징 제거 접근법을 적용했다.
• 계층적 증상 모델에 기반해 9개의 우울 증상 유형으로 레이블링된 9,473개의 트위터 트윗으로 구성된 사전 애너테이션된 트위터 데이터셋을 사용했다.
• 7개의 특징 그룹을 이진화했다: 어휘적(유니그램), 문법적(품사 태그), 정서적(이모티콘), 인구통계학적(나이/성별), 감성(극성, 주관성), 성격 특성(신경증), LIWC 특징.
• 다양한 특징 부분집합에 대해 지도 기반 분류기(SVM)를 훈련하고 F1 점수, 정밀도, 재현율을 사용해 성능을 평가했다.
• 각 증상 유형에 대해 상위 순위 특징의 퍼센티지(5% 간격) 범위에서 성능을 평가하여, 각 증상 유형의 최적 F1 점수 도달 지점을 규명했다.

실험 결과

연구 질문

• RQ1 어떤 특징 그룹이 트위터 데이터에서 우울 증상 분류에 가장 크게 기여하는가?
• RQ2 특정 특징 그룹을 제거했을 때, 다양한 우울 증상 유형에 걸쳐 분류 성능에 어떤 영향을 미치는가?
• RQ3 각 우울 증상 유형에 대해 최적의 F1 점수를 달성하는 상위 순위 특징의 퍼센티지 범위는 무엇인가?
• RQ4 모든 우울 증상 유형에 걸쳐 가장 우수한 성능를 보이는 일관된 특징 수나 퍼센티지가 존재하는가?
• RQ5 축소된 특징 집합이 소셜 미디어 텍스트에서 우울 증상을 분류하는 데 있어 전체 특징 집합과 비교해도 유사한 성능를 달성할 수 있는가?

주요 결과

• 어휘적 특징(유니그램)이 가장 중요한 기여를 했으며, 특히 우울한 기분(제거 시 F1 점수 -35점 하락)과 수면 장애(제거 시 F1 점수 -43점 하락) 분류에 있어 핵심적인 역할을 했다.
• 피로 또는 에너지 감소의 경우, 최적의 F1 점수는 5번째 퍼센티지(288개 특징)에서 달성되어, 매우 소규모이지만 매우 정보가 풍부한 특징 집합만으로도 충분함을 시사했다.
• 우울한 기분의 경우, 최고의 F1 점수는 55번째 퍼센티지(3,168개 특징)에서 도달되어 최적 성능를 위해 더 큰 특징 집합이 필요함을 나타냈다.
• 우울한 기분의 F1 점수는 1번째에서 20번째 퍼센티지로 이르러 20점 향상되었으며, 이는 더 많은 특징이 추가될수록 성능 향상이 뚜렷한 것을 의미한다.
• 정서, 감성, 인구통계학적 특징은 수면 장애와 피로의 분류에 있어 중요한 영향을 미쳤으며, 이들의 제거로 인해 F1 점수에 눈에 띄는 하락이 발생했다.
• '우울의 증거'의 최고 F1 점수는 30번째 퍼센티지에서, '우울 증상'은 15번째 퍼센티지에서 도달했으며, 이는 증상 수준에 따라 특징 집합의 요구사항이 다름을 시사한다.