[论文解读] Deep Learning and Word Embeddings for Tweet Classification for Crisis Response

Reem Alrashdi, Simon O’Keefe|arXiv (Cornell University)|Mar 26, 2019

Public Relations and Crisis Communication被引用 21

一句话总结

本文评估了在危机响应的推文分类任务中，使用通用型（如GloVe）和领域特定型词嵌入的深度学习模型。基于CrisisNLP数据集，研究发现使用GloVe嵌入的Bi-LSTM模型取得了62.04%的最高F1分数，表明在此情境下，通用型嵌入优于领域特定型嵌入。

ABSTRACT

Tradition tweet classification models for crisis response focus on convolutional layers and domain-specific word embeddings. In this paper, we study the application of different neural networks with general-purpose and domain-specific word embeddings to investigate their ability to improve the performance of tweet classification models. We evaluate four tweet classification models on CrisisNLP dataset and obtain comparable results which indicates that general-purpose word embedding such as GloVe can be used instead of domain-specific word embedding especially with Bi-LSTM where results reported the highest performance of 62.04% F1 score.

研究动机与目标

• 评估像GloVe这样的通用型词嵌入在危机推文分类中相较于领域特定型嵌入的有效性。
• 研究不同深度学习架构在不同嵌入类型下对危机相关文本的性能表现。
• 确定在危机响应应用中，领域特定型嵌入是否相较于通用型嵌入具有显著优势。
• 识别出能够提升推文分类性能的神经网络架构与嵌入类型的最佳组合。

提出的方法

• 在CrisisNLP数据集上训练并评估了四种深度学习模型——两种基于CNN，两种基于Bi-LSTM。
• 将通用型词嵌入（GloVe）和领域特定型嵌入用作模型的输入表示。
• 模型在标注的危机相关推文上进行训练和测试，性能通过F1分数进行衡量。
• 应用超参数调优以优化不同配置下的模型性能。
• 训练过程采用随机梯度下降和交叉熵损失，实现端到端学习。
• 评估采用标准NLP指标，重点关注不平衡危机推文数据的F1分数。

实验结果

研究问题

• RQ1 在分类危机相关推文时，使用像GloVe这样的通用型词嵌入是否优于领域特定型嵌入？
• RQ2 当与不同嵌入类型结合时，CNN或Bi-LSTM哪种深度学习架构表现更优？
• RQ3 在危机响应任务中，通用型嵌入能否实现与领域特定型嵌入相媲美甚至更优的性能？
• RQ4 在CrisisNLP数据集上，使用Bi-LSTM与通用型嵌入的组合可达到的最高F1分数是多少？

主要发现

• 使用GloVe嵌入的Bi-LSTM模型在CrisisNLP数据集上取得了62.04%的最高F1分数。
• 通用型词嵌入（GloVe）的表现与领域特定型嵌入相当，甚至在某些情况下更优。
• 在使用GloVe和领域特定型嵌入时，Bi-LSTM架构的表现优于基于CNN的模型。
• 结果表明，在此情境下，领域特定型嵌入并未始终提供相较于通用型嵌入的性能优势。
• 本研究证明，预训练的通用型嵌入可被有效应用于危机相关NLP任务，而无需进行任务特定的嵌入训练。