[论文解读] Demographics in Social Media Data for Public Health Research: Does it matter?

Nina Cesare, Christan Grant+3 more|arXiv (Cornell University)|Oct 30, 2017

Data-Driven Disease Surveillance参考文献 49被引用 15

一句话总结

本文提出了一种可扩展的集成分类器，通过推断Twitter用户名中的性别，以解决公共卫生研究中社交媒体数据在人口统计代表性方面的差距。通过结合在7,953名已标注用户的样本上训练的三个分类器，该方法实现了82.8%的准确率，并覆盖了100%的字母数字用户名用户——尽管准确率低于数据匹配方法，但在覆盖范围上表现更优，从而实现了对美国食源性疾病趋势更全面的分析。

ABSTRACT

Social media data provides propitious opportunities for public health research. However, studies suggest that disparities may exist in the representation of certain populations (e.g., people of lower socioeconomic status). To quantify and address these disparities in population representation, we need demographic information, which is usually missing from most social media platforms. Here, we propose an ensemble approach for inferring demographics from social media data. Several methods have been proposed for inferring demographic attributes such as, age, gender and race/ethnicity. However, most of these methods require large volumes of data, which makes their application to large scale studies challenging. We develop a scalable approach that relies only on user names to predict gender. We develop three separate classifiers trained on data containing the gender labels of 7,953 Twitter users from Kaggle.com. Next, we combine predictions from the individual classifiers using a stacked generalization technique and apply the ensemble classifier to a dataset of 36,085 geotagged foodborne illness related tweets from the United States. Our ensemble approach achieves an accuracy, precision, recall, and F1 score of 0.828, 0.851, 0.852 and 0.837, respectively, higher than the individual machine learning approaches. The ensemble classifier also covers any user with an alphanumeric name, while the data matching approach, which achieves an accuracy of 0.917, only covers 67% of users. Application of our method to reports of foodborne illness in the United States highlights disparities in tweeting by gender and shows that counties with a high volume of foodborne-illness related tweets are heavily overrepresented by female Twitter users.

研究动机与目标

• 解决公共卫生研究中所用社交媒体数据在人口统计代表性方面的差异问题。
• 开发一种在缺乏人口统计数据时，可扩展地从Twitter用户名推断性别的方法。
• 通过社交媒体在大规模公共卫生研究中提升性别预测的覆盖范围与准确率。
• 评估社交媒体数据中人口统计不平衡对基于食源性疾病推文的公共卫生监测结果的影响。

提出的方法

• 使用堆叠泛化构建集成分类器，整合在7,953名具有已知性别标签的Twitter用户上训练的三个独立分类器的预测结果。
• 分类器仅以用户名作为输入特征，从而实现可扩展性，并在具有字母数字用户名的用户中实现广泛覆盖。
• 该方法使用元学习器整合基础模型的预测结果，使整体性能超越单一模型。
• 该方法被应用于包含36,085条美国地理标记的食源性疾病相关推文的数据集，以评估性别代表性。
• 与一种准确率达91.7%但仅覆盖67%用户的传统数据匹配方法进行比较。
• 使用标准指标（准确率、精确率、召回率和F1分数）对集成模型进行评估。

实验结果

研究问题

• RQ1 仅使用用户名是否能够在社交媒体数据中实现准确且可扩展的性别推断，以支持公共卫生研究？
• RQ2 在依赖用户名与外部数据匹配的情况下，性别预测方法的覆盖范围如何比较？
• RQ3 社交媒体数据中的人口统计不平衡在多大程度上影响公共卫生监测结果？
• RQ4 集成学习方法是否能在从用户名推断性别的任务中超越单一分类器？
• RQ5 社交媒体报告中基于性别的差异对食源性疾病监测有何影响？

主要发现

• 集成分类器在测试集上实现了82.8%的准确率、85.1%的精确率、85.2%的召回率和83.7%的F1分数。
• 集成方法覆盖了100%的字母数字用户名用户，显著优于仅覆盖67%用户的传统数据匹配方法。
• 数据匹配方法虽然准确率更高（91.7%），但受限于低覆盖范围，凸显了准确率与包容性之间的权衡。
• 对食源性疾病推文的分析显示，高报告量的县份中女性Twitter用户占比较高。
• 本研究表明，社交媒体数据中的人口统计不平衡可能显著影响公共卫生监测结果。
• 所提出的方法实现了更具代表性且可扩展的人口统计推断，支持更公平的公共卫生研究。