[论文解读] Applications of Online Deep Learning for Crisis Response Using Social Media Information

Dat Tien Nguyen, Shafiq Joty+3 more|arXiv (Cornell University)|Oct 4, 2016

Public Relations and Crisis Communication参考文献 25被引用 70

一句话总结

本文提出了一种基于卷积神经网络（CNNs）的在线深度学习框架，用于将与危机相关的推文分类为信息性与非信息性，以及主题类别。通过利用预训练词嵌入和在线随机梯度下降算法，该模型能够逐步适应新数据，在实时灾难响应场景中实现高准确率，且几乎无需人工特征工程。

ABSTRACT

During natural or man-made disasters, humanitarian response organizations look for useful information to support their decision-making processes. Social media platforms such as Twitter have been considered as a vital source of useful information for disaster response and management. Despite advances in natural language processing techniques, processing short and informal Twitter messages is a challenging task. In this paper, we propose to use Deep Neural Network (DNN) to address two types of information needs of response organizations: 1) identifying informative tweets and 2) classifying them into topical classes. DNNs use distributed representation of words and learn the representation as well as higher level features automatically for the classification task. We propose a new online algorithm based on stochastic gradient descent to train DNNs in an online fashion during disaster situations. We test our models using a crisis-related real-world Twitter dataset.

研究动机与目标

• 解决灾难期间过滤社交媒体中嘈杂、无关内容的挑战，仅提取信息性危机相关推文。
• 实现实时将信息性推文分类到预定义的人道主义主题类别中，如人员伤亡、基础设施损坏和资源需求。
• 开发一种在线学习框架，能够在不从头重新训练的情况下适应新危机数据，适用于时间紧迫的灾难响应。
• 证明深度神经网络在处理短文本、非正式语言和语境模糊的危机推文方面优于传统分类器（如SVM、朴素贝叶斯）。
• 提供开源代码，以支持危机计算和人道主义应用中自然语言处理研究的可复现性和进一步发展。

提出的方法

• 采用卷积神经网络（CNN）架构，从原始推文文本中自动学习分布式词表示和高层特征。
• 使用预训练词嵌入（如 word2vec 或 GloVe）初始化词表示，从而实现从以往危机事件到新事件的泛化能力。
• 实现一种基于随机梯度下降（SGD）的新型在线学习算法，随着新标注推文批次的到达，逐步更新模型参数。
• 以流式方式训练模型：基础模型在历史危机数据上预训练，并通过实时的小规模、事件特定标注批次进行微调。
• 仅使用标注推文对二分类（信息性 vs. 非信息性）和多分类（主题）任务进行端到端训练。
• 通过小批量更新优化模型，在动态危机条件下平衡计算效率与模型准确率。

实验结果

研究问题

• RQ1 在线深度学习能否在实时场景中有效将简短、非正式的危机相关推文分类为信息性与非信息性？
• RQ2 在灾难期间，与传统分类器（如SVM、逻辑回归）相比，经在线训练的CNN在二分类和多分类推文分类中的性能如何？
• RQ3 在仅提供少量标注数据的情况下，基于过去危机数据预训练的深度神经网络模型在新、未见的灾难事件中泛化的程度如何？
• RQ4 与静态模型相比，使用小规模、增量式事件特定数据进行在线微调是否能提升分类准确率？
• RQ5 端到端深度学习是否能消除危机推文分类任务中对手动特征工程的依赖？

主要发现

• 所提出的在线CNN模型在二分类和多分类任务中均实现了高准确率，且随着更多事件特定标注数据的引入，性能持续提升。
• 在历史危机数据上进行预训练，使模型在新灾难初期（标注数据稀缺时）能够有效泛化。
• 在线学习方法显著降低了训练开销，相比从头重新训练，更适合时间紧迫的灾难响应。
• 该模型在处理危机推文中常见的噪声、简短性和非正式语言方面，优于SVM和逻辑回归等传统分类器。
• 使用分布式词表示和自动特征学习减少了对手动特征工程的依赖，简化了分类流程。
• 在线学习框架的源代码已公开，支持社区复用和未来危机计算研究的扩展。