[论文解读] Rapid Classification of Crisis-Related Data on Social Networks using Convolutional Neural Networks

Dat Tien Nguyen, Kamela Ali Al Mannai+4 more|arXiv (Cornell University)|Aug 12, 2016

Public Relations and Crisis Communication参考文献 27被引用 40

一句话总结

本文提出一种基于卷积神经网络（CNN）的模型，用于在资源有限的情况下快速分类社交媒体上的危机相关推文，无需人工特征工程。该模型在早期灾害响应阶段表现卓越，尤其在事件特定标注数据稀缺时，通过有效利用事件外数据，相较于非神经网络方法，性能提升最高达10个百分点的绝对值。

ABSTRACT

The role of social media, in particular microblogging platforms such as Twitter, as a conduit for actionable and tactical information during disasters is increasingly acknowledged. However, time-critical analysis of big crisis data on social media streams brings challenges to machine learning techniques, especially the ones that use supervised learning. The Scarcity of labeled data, particularly in the early hours of a crisis, delays the machine learning process. The current state-of-the-art classification methods require a significant amount of labeled data specific to a particular event for training plus a lot of feature engineering to achieve best results. In this work, we introduce neural network based classification methods for binary and multi-class tweet classification task. We show that neural network based models do not require any feature engineering and perform better than state-of-the-art methods. In the early hours of a disaster when no labeled data is available, our proposed method makes the best use of the out-of-event data and achieves good results.

研究动机与目标

• 解决在缺乏或无法获取标注数据的情况下，快速准确分类灾难期间社交媒体内容的挑战。
• 克服传统监督学习方法的局限性，后者需要大量人工特征工程，且在事件外数据上表现不佳。
• 通过利用事件外数据进行迁移学习，开发一种能在不同灾难事件间良好泛化的深度学习模型。
• 通过从Twitter流中更快、更准确地识别可操作的危机信息，提升人道主义响应人员的情境感知能力。

提出的方法

• 采用带有最大池化的卷积神经网络（CNN），自动学习短篇、非正式推文中的关键n-gram特征，无需人工特征工程。
• 通过多层感知机（MLP）扩展CNN，以增强表征学习和分类性能。
• 使用事件内和事件外标注数据的组合进行模型训练，重点在于从以往灾难中迁移学习。
• 使用分布式密集词嵌入（如word2vec或GloVe）作为CNN的输入，以在低资源环境下捕捉语义含义。
• 应用在线学习策略，随着危机期间新标注数据的出现，逐步调整模型。
• 实施领域自适应技术，如正则化和实例选择，以提升在整合不同事件数据时的模型鲁棒性。

实验结果

研究问题

• RQ1 与传统监督方法相比，深度学习模型是否能在无需人工特征工程的情况下，在危机推文分类中实现更优性能？
• RQ2 在灾难早期阶段，当无事件特定标签可用时，仅使用事件外数据训练的基于CNN的模型效果如何？
• RQ3 结合事件内和事件外训练数据对分类性能有何影响？是否会导致模型准确率下降？
• RQ4 模型在不同灾难事件中的表现如何变化，尤其是在类别分布和语言特征各异的情况下？

主要发现

• 仅使用事件内训练数据时，所提出的CNN模型在二分类任务中，相较于最佳非神经网络基线，性能最高提升7.5个百分点的绝对值。
• 在缺乏事件特定数据的情况下，仅使用事件外数据训练时，CNN模型相较于非神经网络模型，性能最高提升10个百分点的绝对值。
• 在事件内训练中加入事件外数据后，整体性能略有下降，表明在灾难后期阶段应谨慎使用此类数据。
• 在多分类任务中，模型表现出一致的优越性，对代表性充分的类别AUC值较高，对罕见类别AUC值较低，表明存在类别不平衡的影响。
• 在尼泊尔事件中，'不相关'类别的分类最为容易（AUC ≈ 50%），而在加州事件中最为困难（AUC < 10%），反映出数据分布和标注难度的差异。
• 性能因事件而异，加州和台风“飞燕”数据集比尼泊尔和“帕姆”飓风数据集更容易分类，可能由于数据分布和语义模糊性所致。