[论文解读] Standardizing and Benchmarking Crisis-related Social Media Datasets for Humanitarian Information Processing
该论文将八个与危机相关的社交媒体数据集标准化为一个统一基准，包含166.1万条推文用于信息性分类，141.5万条用于人道主义分类，实现了模型评估的一致性。该研究使用CNN和BERT模型提供了基线结果，并公开发布了整合后的数据集，以推动危机计算研究的发展。
Time-critical analysis of social media streams is important for humanitarian organizations to plan rapid response during disasters. The crisis informatics research community has developed several techniques and systems to process and classify big crisis related data posted on social media. However, due to the dispersed nature of the datasets used in the literature, it is not possible to compare the results and measure the progress made towards better models for crisis informatics. In this work, we attempt to bridge this gap by standardizing various existing crisis-related datasets. We consolidate labels of eight annotated data sources and provide 166.1k and 141.5k tweets for informativeness and humanitarian classification tasks, respectively. The consolidation results in a larger dataset that affords the ability to train more sophisticated models. To that end, we provide baseline results using CNN and BERT models. We make the dataset available at this https URL.
研究动机与目标
- 为解决由于数据集分散、不一致而导致的危机计算研究中可比性不足的问题。
- 将八个现有标注的与危机相关的社交媒体数据集的标签整合为一个统一、标准化的基准。
- 通过更大规模的整合数据集，支持更复杂模型的训练与评估。
- 使用深度学习模型（如CNN和BERT）提供可复现的基线结果。
提出的方法
- 整合并协调八个不同危机相关社交媒体数据集的标签，以解决标注方案不一致的问题。
- 对各数据集的标签进行映射与统一，构建适用于两个主要任务（信息性分类与人道主义分类）的一致性标注模式。
- 构建最终的数据集，包含166.1万条推文用于信息性分类任务，141.5万条用于人道主义分类任务。
- 在整合后的数据集上，使用卷积神经网络（CNN）和双向变压器（BERT）架构训练并评估基线模型。
- 公开发布标准化后的数据集，以支持可复现性及未来在危机计算领域的基准测试。
实验结果
研究问题
- RQ1如何对分散的与危机相关的社交媒体数据集进行标准化，以实现模型评估的一致性？
- RQ2在整合后的危机数据集上，像CNN和BERT这样的深度学习模型表现如何？
- RQ3数据集整合在多大程度上提升了危机计算中模型的训练与评估效果？
- RQ4与单个数据集相比，统一基准在规模和标签一致性方面表现如何？
主要发现
- 整合后的数据集包含166.1万条推文用于信息性分类任务，141.5万条用于人道主义分类任务。
- 在统一数据集上使用CNN和BERT模型建立了基线结果，为未来研究提供了参考基准。
- 标准化数据集使得不同危机计算任务之间模型性能的直接比较成为可能。
- 数据集的发布促进了研究的可复现性，并加速了人道主义信息处理领域的发展。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。