[论文解读] Graph Based Semi-supervised Learning with Convolution Neural Networks to Classify Crisis Related Tweets

Firoj Alam, Shafiq Joty+1 more|arXiv (Cornell University)|May 2, 2018

Public Relations and Crisis Communication被引用 17

一句话总结

本文提出了一种基于图的半监督深度学习框架，将卷积神经网络（CNNs）与基于词嵌入的k近邻相似性图相结合，利用有限的标注数据和丰富的未标注数据对危机相关推文进行分类。通过在基于词嵌入构建的图上同时进行标签预测和上下文节点预测，该方法在各种标注数据设置下，相较于监督基线模型，F-measure绝对提升达5%至26%。

ABSTRACT

During time-critical situations such as natural disasters, rapid classification of data posted on social networks by affected people is useful for humanitarian organizations to gain situational awareness and to plan response efforts. However, the scarcity of labeled data in the early hours of a crisis hinders machine learning tasks thus delays crisis response. In this work, we propose to use an inductive semi-supervised technique to utilize unlabeled data, which is often abundant at the onset of a crisis event, along with fewer labeled data. Specif- ically, we adopt a graph-based deep learning framework to learn an inductive semi-supervised model. We use two real-world crisis datasets from Twitter to evaluate the proposed approach. Our results show significant improvements using unlabeled data as compared to only using labeled data.

研究动机与目标

• 为应对危机响应中标注数据有限的挑战，利用丰富的未标注社交媒体数据。
• 开发一种归纳式半监督学习模型，可泛化至未见实例，区别于归纳式方法。
• 通过结合CNN与基于图的相似性结构，提升危机场景下推文分类的性能。
• 在具有不同标注数据水平的真实世界危机数据集上，评估所提方法的有效性。
• 证明基于图的归纳偏差在半监督学习中能显著提升分类性能，超越监督基线模型。

提出的方法

• 基于词嵌入使用k近邻算法构建相似性图，以建模推文之间的关系。
• 使用CNN从词嵌入中提取层次化特征，应用大小为2、3和4的卷积核，并结合最大池化操作。
• 采用两种损失函数进行模型训练：一种用于类别标签预测，另一种用于图中上下文节点的预测。
• 通过基于相似性的邻域选择而非随机游走定义上下文预测损失，从而改善局部结构建模。
• 使用AdaDelta算法端到端优化模型，分类任务的学习率为0.1，上下文损失的学习率为0.001。
• 基于验证集上的F-measure采用早停策略，耐心度为25个周期，并使用0.02的dropout率以防止过拟合。

实验结果

研究问题

• RQ1 当危机期间仅有少量标注数据时，基于图的半监督深度学习模型能否提升推文分类性能？
• RQ2 所提方法在利用未标注推文提升分类性能方面，相较于监督基线模型的有效性如何？
• RQ3 结合CNN与基于图的归纳偏差的方法，在危机相关文本分类任务中是否优于标准监督模型？
• RQ4 半监督模型在危机初期达到合理性能所需的最小标注数据量是多少？
• RQ5 在真实世界危机数据集中，随着标注数据和未标注数据量的增加，模型性能如何变化？

主要发现

• 在所有标注数据设置下，半监督模型相较于监督基线模型，F-measure绝对提升达5%至26%。
• 在尼泊尔地震数据集中，模型使用全部标注数据和50,000条未标注推文时，F-measure达到66.63%，而仅使用标注数据时为60.89%。
• 在昆士兰州洪水数据集中，模型使用全部标注数据和约21,000条未标注推文时，F-measure达到93.54%，而仅使用标注数据时为78.92%。
• 即使仅有500个标注实例，半监督模型在昆士兰州数据集上的F-measure也比监督模型高出10多个百分点。
• 该模型在极少超参数调优下仍保持强劲性能，表明其在实时危机场景中具备鲁棒性和可扩展性。
• 结果表明，500个标注实例结合未标注数据可作为危机初期部署该模型的实际阈值。