[论文解读] Clustering of Social Media Messages for Humanitarian Aid Response during Crisis

Swati Padhee, Tanay Kumar Saha+2 more|arXiv (Cornell University)|Jul 23, 2020

Public Relations and Crisis Communication参考文献 30被引用 4

一句话总结

本文提出使用最先进的深度学习模型，特别是 RoBERTa，自动对危机期间的社交媒体消息进行分类与聚类，涵盖三类人道主义援助分类任务：信息性、需求/供应意图，以及联合国集群类别（食品、避难所、卫生、WASH）。该方法表现优异——RoBERTa 在信息性分类任务中达到 89.20% 的 F1 分数，在意图与集群分类任务中均超过 75% 的 F1 分数，表明上下文嵌入显著优于传统方法，可支持可扩展的自动化危机响应系统。

ABSTRACT

Social media has quickly grown into an essential tool for people to communicate and express their needs during crisis events. Prior work in analyzing social media data for crisis management has focused primarily on automatically identifying actionable (or, informative) crisis-related messages. In this work, we show that recent advances in Deep Learning and Natural Language Processing outperform prior approaches for the task of classifying informativeness and encourage the field to adopt them for their research or even deployment. We also extend these methods to two sub-tasks of informativeness and find that the Deep Learning methods are effective here as well.

研究动机与目标

• 使用现代深度学习模型改进对危机相关社交媒体信息性内容的自动识别。
• 将分类任务从二元信息性扩展至意图（需求/供应）及人道主义援助类型（联合国集群：食品、避难所、卫生、WASH）。
• 评估在一场危机（飓风多拉）上训练的模型在未见危机事件上的泛化能力。
• 提供可复现的数据集与标注指南，以支持未来危机自然语言处理研究。

提出的方法

• 作者使用在危机相关推文数据上微调的预训练 RoBERTa 模型，执行三项分类任务：信息性、需求/供应意图，以及联合国集群类别。
• 采用多标签分类框架，允许单条推文被标记为多个类别（例如，同时标记为“食品”和“WASH”）。
• 使用基于词典和地理位置过滤方法收集的 14,073 条信息性推文数据集，对模型进行微调。
• 将 RoBERTa 与 BERT、TF-IDF 及词嵌入（GloVe、Word2Vec）进行比较，评估上下文表示带来的性能提升。
• 通过将多拉飓风训练的模型应用于飓风哈维、飓风玛丽亚及斯里兰卡洪水的公开数据集，测试其泛化能力。
• 采用标准自然语言处理指标评估模型性能：准确率、F1 分数（微观与宏观）、精确率与召回率。

实验结果

研究问题

• RQ1 与经典机器学习方法相比，预训练语言模型（如 RoBERTa）是否能显著提升对危机相关社交媒体信息性内容的分类性能？
• RQ2 深度学习模型是否能有效将推文分类到更细粒度的人道主义意图类别（需求 vs. 供应）及联合国集群类别（食品、避难所、卫生、WASH）？
• RQ3 在一场危机事件（飓风多拉）上训练的模型，对其他未见过的危机事件的泛化能力如何？
• RQ4 在危机自然语言处理任务中，上下文嵌入（如 RoBERTa）相较于非上下文嵌入（如 GloVe、Word2Vec）的性能优势有多大？

主要发现

• RoBERTa 在所有三项任务中表现最佳，信息性分类任务的 F1 得分为 89.20%。
• 在需求 vs. 供应意图分类中，RoBERTa 对“需求”的微平均 F1 为 71.98%，对“供应”的微平均 F1 为 75.98%。
• 在联合国集群分类任务中，RoBERTa 在四个类别（食品、避难所、卫生、WASH）中均取得最高准确率与微平均 F1，其中 56.42% 的推文被分类为“食品”，30.1% 为“WASH”。
• 模型预测 8,370 条（59.48%）推文为求助，9,296 条（66.1%）为提供物资，其中 3,593 条被同时标记为两类。
• 在未见危机测试中，RoBERTa 在斯里兰卡洪水数据集上达到 82.12% 的准确率，但在飓风哈维和玛丽亚数据集上分别仅达到 54.30% 和 59.85% 的准确率，表明零样本泛化能力有限。
• 当推文未涉及人道主义援助时，模型正确将一条被人工标注为“信息性”的推文识别为“非信息性”，验证了任务定义的合理性。