[论文解读] METS-CoV: A Dataset of Medical Entity and Targeted Sentiment on COVID-19 Related Tweets

Peilin Zhou, Zeqiang Wang+7 more|arXiv (Cornell University)|Sep 28, 2022

Misinformation and Its Impacts被引用 10

一句话总结

本论文提出了 METS-CoV，这是首个针对新冠相关推文的医学实体与目标情感标注数据集，包含7种实体类型及针对4个关键实体的情感标签。该研究对经典与深度学习模型进行了基准测试，揭示了在命名实体识别（NER）与目标情感分析方面仍有显著的提升空间，为医学社交媒体分析与公共卫生研究奠定了基础资源。

ABSTRACT

The COVID-19 pandemic continues to bring up various topics discussed or debated on social media. In order to explore the impact of pandemics on people's lives, it is crucial to understand the public's concerns and attitudes towards pandemic-related entities (e.g., drugs, vaccines) on social media. However, models trained on existing named entity recognition (NER) or targeted sentiment analysis (TSA) datasets have limited ability to understand COVID-19-related social media texts because these datasets are not designed or annotated from a medical perspective. This paper releases METS-CoV, a dataset containing medical entities and targeted sentiments from COVID-19-related tweets. METS-CoV contains 10,000 tweets with 7 types of entities, including 4 medical entity types (Disease, Drug, Symptom, and Vaccine) and 3 general entity types (Person, Location, and Organization). To further investigate tweet users' attitudes toward specific entities, 4 types of entities (Person, Organization, Drug, and Vaccine) are selected and annotated with user sentiments, resulting in a targeted sentiment dataset with 9,101 entities (in 5,278 tweets). To the best of our knowledge, METS-CoV is the first dataset to collect medical entities and corresponding sentiments of COVID-19-related tweets. We benchmark the performance of classical machine learning models and state-of-the-art deep learning models on NER and TSA tasks with extensive experiments. Results show that the dataset has vast room for improvement for both NER and TSA tasks. METS-CoV is an important resource for developing better medical social media tools and facilitating computational social science research, especially in epidemiology. Our data, annotation guidelines, benchmark models, and source code are publicly available (https://github.com/YLab-Open/METS-CoV) to ensure reproducibility.

研究动机与目标

• 为解决在新冠疫情期间分析社交媒体公众情绪时缺乏医学领域特定数据集的问题。
• 开发一个能够捕捉真实推文语境中医学实体（如药物、疫苗）及其用户情感的数据集。
• 支持为流行病学与公共卫生研究量身定制的更精准 NLP 工具的发展。
• 提供可复现的基准测试、标注指南与代码，以推动医学领域计算社会科学的发展。

提出的方法

• 该数据集从通过 Twitter API 获取的 10,000 条公开可用、已匿名化的新冠相关推文构建而成。
• 共标注了 7 种实体类型：4 种医学实体（疾病、药物、症状、疫苗）与 3 种通用实体（人物、地点、组织）。
• 在目标情感分析中，选取了 4 种实体类型（人物、组织、药物、疫苗），并标注其情感极性（正面、负面、中性）。
• 采用严格的标注协议，包括多轮培训、成对标注与第三方验证，以确保一致性并降低主观性。
• 使用该数据集对经典机器学习与最先进深度学习模型在 NER 与 TSA 任务上进行了基准测试。
• 数据集、标注指南与代码已公开发布于 GitHub，以确保可复现性与社区复用。

实验结果

研究问题

• RQ1 现有 NLP 模型在嘈杂、非正式的新冠相关推文中对医学实体进行命名实体识别的表现如何？
• RQ2 目标情感分析模型在社交媒体文本中区分用户对特定医学实体（如疫苗、药物）情感的程度如何？
• RQ3 情感标注中的标签不平衡与主观性在真实医学社交媒体数据上对模型性能有何影响？
• RQ4 所提出的数据集能否作为未来公共卫生与医学社交媒体分析中 NLP 模型训练与评估的可靠基准？

主要发现

• METS-CoV 数据集包含 10,000 条推文，涵盖 7 种实体类型，其中包含 4 种医学实体，针对目标情感分析共标注了 9,101 个情感实体，覆盖 5,278 条推文。
• 基准测试结果显示，现有模型在 NER 与目标情感分析任务上均有显著提升空间，表明该数据集在模型开发中的复杂性与价值。
• 该数据集存在显著的标签不平衡，尤其在情感标注中，中性情感占比较高，影响了模型的泛化能力。
• 不同实体类型的表现存在差异，稀有实体的 F1 分数较低，凸显了对更好的数据增强或领域自适应建模的需求。
• 通过结构化指南、培训与验证，标注过程实现了高水平的标注者间一致性，尽管存在固有挑战，但仍有效降低了主观性。
• 数据集、指南与代码的发布支持了可复现研究，并推动了更精准、面向特定医学领域的 NLP 工具在公共卫生应用中的发展。