[论文解读] Efficacy of BERT embeddings on predicting disaster from Twitter data

Ashis Kumar Chanda|arXiv (Cornell University)|Aug 8, 2021

Topic Modeling参考文献 33被引用 6

一句话总结

本研究评估了使用传统机器学习与深度学习模型对灾难相关推文进行分类时，BERT嵌入的表现。结果表明，上下文相关的BERT嵌入在多个指标上显著优于上下文无关的嵌入（GloVe、FastText、Skip-gram），在Bi-LSTM模型上实现了最高的AUC（0.8578）与准确率（83.08%），证明其在理解短文本、语义模糊的社交媒体文本中的上下文细微差别方面具有显著优势，适用于灾难预测任务。

ABSTRACT

Social media like Twitter provide a common platform to share and communicate personal experiences with other people. People often post their life experiences, local news, and events on social media to inform others. Many rescue agencies monitor this type of data regularly to identify disasters and reduce the risk of lives. However, it is impossible for humans to manually check the mass amount of data and identify disasters in real-time. For this purpose, many research works have been proposed to present words in machine-understandable representations and apply machine learning methods on the word representations to identify the sentiment of a text. The previous research methods provide a single representation or embedding of a word from a given document. However, the recent advanced contextual embedding method (BERT) constructs different vectors for the same word in different contexts. BERT embeddings have been successfully used in different natural language processing (NLP) tasks, yet there is no concrete analysis of how these representations are helpful in disaster-type tweet analysis. In this research work, we explore the efficacy of BERT embeddings on predicting disaster from Twitter data and compare these to traditional context-free word embedding methods (GloVe, Skip-gram, and FastText). We use both traditional machine learning methods and deep learning methods for this purpose. We provide both quantitative and qualitative results for this study. The results show that the BERT embeddings have the best results in disaster prediction task than the traditional word embeddings. Our codes are made freely accessible to the research community.

研究动机与目标

• 分析从短文本、语义模糊的社交媒体文本中分类灾难相关推文所面临的挑战。
• 比较上下文嵌入（BERT）与上下文无关嵌入（GloVe、FastText、Skip-gram）在灾难预测中的有效性。
• 评估使用不同词向量表示的传统机器学习与深度学习模型在该任务中的表现。
• 提供一个公开的代码库，以确保可复现性，并推动灾难相关自然语言处理的未来研究。

提出的方法

• 本研究将预训练的BERT、GloVe、FastText和Skip-gram嵌入作为文本分类的输入表征。
• 在推文是否与灾难相关这一分类任务中，应用浅层模型（逻辑回归、决策树、随机森林）与深层模型（Bi-LSTM、Softmax）。
• 通过标准NLP指标（AUC、F1-score与准确率）在训练集与测试集上评估模型性能。
• 通过定性分析，对比Bi-LSTM模型在使用GloVe（上下文无关）与BERT（上下文相关）嵌入时对特定推文示例的预测结果。
• 研究基于Kaggle灾难推文数据集构建，并实现了端到端的训练与推理流程。
• 所有代码均已公开发布于GitHub，以确保可复现性与社区可访问性。

实验结果

研究问题

• RQ1 在短文本社交媒体文本中，上下文相关的词嵌入（如BERT）是否能提升灾难预测的准确率，相较于上下文无关的嵌入？
• RQ2 当使用不同类型的嵌入时，传统机器学习模型与深度学习模型（如Bi-LSTM）的表现如何比较？
• RQ3 上下文嵌入在多大程度上能更好地捕捉灾难相关推文的语义含义，相较于静态嵌入？
• RQ4 对于包含灾难相关关键词但语义模糊的推文，使用上下文无关与上下文相关嵌入的模型预测结果有何差异？

主要发现

• 当与Bi-LSTM模型结合时，BERT嵌入在测试集上实现了最高的准确率（83.08%）与AUC（0.8578），优于所有其他嵌入与模型组合。
• 与表现最佳的上下文无关模型（GloVe+Bi-LSTM）相比，BERT+Bi-LSTM模型使AUC提升了2%，准确率提升了2%。
• 上下文无关嵌入（如GloVe）在未结合上下文时，错误地将包含'accident'或'fire'等词汇的非灾难推文分类为灾难类，而BERT能正确识别其为非灾难类。
• BERT成功将严重但非灾难的推文（例如：'fire-workers rush into burning buildings'）分类为正面，展现出对上下文的深刻理解能力。
• 对于包含明确灾难关键词（如'suicide bomber'、'bombing'）的推文，GloVe与BERT均能正确分类，但BERT在模糊案例中表现出更优的泛化能力。
• 无论使用何种嵌入类型，深度学习模型（如Bi-LSTM）在所有指标上均持续优于浅层模型（如逻辑回归与随机森林）。