[论文解读] HumAID: Human-Annotated Disaster Incidents Data from Twitter

Firoj Alam, Umair Qazi+2 more|arXiv (Cornell University)|Apr 7, 2021

Public Relations and Crisis Communication被引用 6

一句话总结

本文介绍了HumAID，这是一个大规模、人工标注的推文数据集，包含约77,000条来自19起灾难事件（2016–2019年）的推文，采样自2400万条推文，旨在支持灾难响应中的高级自然语言处理研究。作者提出了一套系统化的数据收集与采样流程，用于人工标注，并采用fastText和Transformer模型评估多分类任务，为未来研究提供了公开可用资源的基准。

ABSTRACT

Social networks are widely used for information consumption and dissemination, especially during time-critical events such as natural disasters. Despite its significantly large volume, social media content is often too noisy for direct use in any application. Therefore, it is important to filter, categorize, and concisely summarize the available content to facilitate effective consumption and decision-making. To address such issues automatic classification systems have been developed using supervised modeling approaches, thanks to the earlier efforts on creating labeled datasets. However, existing datasets are limited in different aspects (e.g., size, contains duplicates) and less suitable to support more advanced and data-hungry deep learning models. In this paper, we present a new large-scale dataset with ~77K human-labeled tweets, sampled from a pool of ~24 million tweets across 19 disaster events that happened between 2016 and 2019. Moreover, we propose a data collection and sampling pipeline, which is important for social media data sampling for human annotation. We report multiclass classification results using classic and deep learning (fastText and transformer) based models to set the ground for future studies. The dataset and associated resources are publicly available.\url{this https URL}

研究动机与目标

• 为解决现有灾难相关推文数据集的局限性，如规模小、存在重复或不适合深度学习的问题。
• 开发一种可扩展且系统化的社交媒体数据收集与采样流程，用于人工标注。
• 创建一个高质量、大规模的数据集，支持使用深度学习模型进行高级多分类任务。
• 通过在新数据集上评估最先进模型，为未来灾难NLP研究提供基准。

提出的方法

• 设计了一套系统化的数据收集流程，从约2400万条推文中提取2016至2019年间19起重大灾难事件的相关推文。
• 应用了一种采样策略，以确保类别平衡和代表性，减少冗余，同时保持各类灾难类型的多样性。
• 人工标注者将每条推文分类到多个预定义的灾难相关类别中，最终获得约7.7万条完全标注的推文。
• 利用该数据集训练并评估了传统模型（fastText）和深度学习模型（基于Transformer）的多分类性能。
• 标注过程包含了质量控制措施，以确保标注者之间的一致性与可靠性。
• 最终数据集及相关代码已公开发布，以支持可复现性与进一步研究。

实验结果

研究问题

• RQ1 与传统模型（如fastText）相比，现代深度学习模型（如Transformer）在分类灾难相关推文方面的效果如何？
• RQ2 一种可扩展且系统化的数据采样流程能否生成高质量、具有代表性的用于人工标注的灾难推文训练数据？
• RQ3 多分类模型在大规模、多样化且人工标注的灾难推文数据集上的表现如何？
• RQ4 与现有数据集相比，所提出的数据集在规模、多样性以及训练深度学习模型的适用性方面有何优势？

主要发现

• HumAID数据集包含约7.7万条来自19起不同灾难事件的人工标注推文，相较于以往数据集在规模上实现了显著提升。
• 所提出的数据显示收集与采样流程成功减少了数据冗余，同时保持了类别多样性与代表性。
• 基于Transformer的模型在多分类任务中表现优于fastText，证明了该数据集在训练先进模型方面的价值。
• 由于其规模、多样性与高质量标注，该数据集使NLP模型在灾难响应场景下的评估更加稳健。
• 数据集及相关资源的公开发布为灾难NLP领域的未来研究以及实时信息处理奠定了基础。