[论文解读] Feature Studies to Inform the Classification of Depressive Symptoms from Twitter Data for Population Health

Danielle L. Mowery, Craig J. Bryan+1 more|arXiv (Cornell University)|Jan 28, 2017

Mental Health via Writing参考文献 14被引用 23

一句话总结

本研究通过监督式机器学习方法，评估了用于在Twitter数据中分类抑郁症状的特征集。研究发现，简单的词汇特征（如unigrams）以及小型、排名靠前的特征子集——尤其是疲劳和情绪低落等特定症状——可实现与更大特征集相当的高分类性能，表明其在人群层面心理健康监测中具有高效性。

ABSTRACT

The utility of Twitter data as a medium to support population-level mental health monitoring is not well understood. In an effort to better understand the predictive power of supervised machine learning classifiers and the influence of feature sets for efficiently classifying depression-related tweets on a large-scale, we conducted two feature study experiments. In the first experiment, we assessed the contribution of feature groups such as lexical information (e.g., unigrams) and emotions (e.g., strongly negative) using a feature ablation study. In the second experiment, we determined the percentile of top ranked features that produced the optimal classification performance by applying a three-step feature elimination approach. In the first experiment, we observed that lexical features are critical for identifying depressive symptoms, specifically for depressed mood (-35 points) and for disturbed sleep (-43 points). In the second experiment, we observed that the optimal F1-score performance of top ranked features in percentiles variably ranged across classes e.g., fatigue or loss of energy (5th percentile, 288 features) to depressed mood (55th percentile, 3,168 features) suggesting there is no consistent count of features for predicting depressive-related tweets. We conclude that simple lexical features and reduced feature sets can produce comparable results to larger feature sets.

研究动机与目标

• 评估不同特征组在分类Twitter数据中抑郁症状时的预测能力。
• 确定能最大化各类抑郁症状分类性能的最优排名靠前特征子集。
• 通过识别高效且高性能的特征集，支持可扩展的、人群层面的心理健康监测。
• 评估词汇、情绪、情感、人口统计及人格特征在区分抑郁症状中的贡献。
• 为设计基于社交媒体数据的实时、大规模心理健康监测系统提供依据。

提出的方法

• 开展特征消融研究，以衡量移除特定特征组（如词汇、情绪、情感）对F1得分性能的影响。
• 采用三步法特征剔除策略，识别每类抑郁症状的最优排名靠前特征百分位数。
• 使用一个预标注的Twitter数据集，包含9,473条推文，基于分层症状模型标注了9种抑郁症状类别。
• 将7类特征二值化：词汇（unigrams）、句法（POS标记）、情绪（表情符号）、人口统计（年龄/性别）、情感（极性、主观性）、人格特质（神经质）以及LIWC特征。
• 在不同特征子集上训练监督分类器（SVM），并使用F1得分、精确率和召回率评估性能。
• 以5%为增量，评估各排名靠前特征百分位数的性能，以确定各类症状的F1得分最佳点。

实验结果

研究问题

• RQ1 哪些特征组对在Twitter数据中分类抑郁症状的贡献最为显著？
• RQ2 移除特定特征组对各类抑郁症状分类性能的影响如何？
• RQ3 各类抑郁症状的F1得分达到峰值时，最优的排名靠前特征百分位数是多少？
• RQ4 是否存在一个一致的特征数量或百分位数，使其在所有抑郁症状类别中均表现最佳？
• RQ5 是否可以通过精简的特征集实现与完整特征集相当的抑郁症状分类性能？

主要发现

• 词汇特征（unigrams）是最关键的贡献者，尤其在识别情绪低落（移除后F1得分下降35个百分点）和睡眠障碍（F1得分下降43个百分点）方面。
• 对于疲劳或精力丧失症状，最优F1得分在第5百分位数（288个特征）达到，表明仅需一个小型、高度信息丰富的特征集即可。
• 对于情绪低落症状，F1得分峰值出现在第55百分位数（3,168个特征），表明需要更大的特征集才能实现最佳性能。
• 从第1到第20百分位数，情绪低落的F1得分提升了20个百分点，表明随着特征数量增加，性能呈显著递增。
• 情绪、情感和人口统计特征对睡眠障碍和疲劳症状的分类具有显著影响，其移除导致F1得分明显下降。
• ‘抑郁迹象’的F1得分峰值出现在第30百分位数，而‘抑郁症状’的峰值出现在第15百分位数，表明不同症状层级对特征集的需求存在差异。