[论文解读] CrisisBERT: a Robust Transformer for Crisis Classification and Contextual Crisis Embedding

Junhua Liu, Trisha Singhal+3 more|ArXiv.org|May 11, 2020

Public Relations and Crisis Communication参考文献 36被引用 23

一句话总结

CrisisBERT 是一种基于 Transformer 的模型，可提升社交媒体文本中的危机检测与识别性能，在两项任务上均达到当前最先进水平。该模型表现出强大的鲁棒性，即使在危机类别从 6 个扩展到 36 个时，仅需增加 51.4% 的训练数据，仍能保持高准确率与 F1 分数。

ABSTRACT

Classification of crisis events, such as natural disasters, terrorist attacks and pandemics, is a crucial task to create early signals and inform relevant parties for spontaneous actions to reduce overall damage. Despite crisis such as natural disasters can be predicted by professional institutions, certain events are first signaled by civilians, such as the recent COVID-19 pandemics. Social media platforms such as Twitter often exposes firsthand signals on such crises through high volume information exchange over half a billion tweets posted daily. Prior works proposed various crisis embeddings and classification using conventional Machine Learning and Neural Network models. However, none of the works perform crisis embedding and classification using state of the art attention-based deep neural networks models, such as Transformers and document-level contextual embeddings. This work proposes CrisisBERT, an end-to-end transformer-based model for two crisis classification tasks, namely crisis detection and crisis recognition, which shows promising results across accuracy and f1 scores. The proposed model also demonstrates superior robustness over benchmark, as it shows marginal performance compromise while extending from 6 to 36 events with only 51.4% additional data points. We also proposed Crisis2Vec, an attention-based, document-level contextual embedding architecture for crisis embedding, which achieve better performance than conventional crisis embedding methods such as Word2Vec and GloVe. To the best of our knowledge, our works are first to propose using transformer-based crisis classification and document-level contextual crisis embedding in the literature.

研究动机与目标

• 开发一种深度学习模型，以在从社交媒体中分类危机相关内容方面超越现有方法。
• 解决标注数据有限以及模型在多样化危机类型间泛化能力不足的挑战。
• 提出一种基于注意力机制的文档级、上下文嵌入方法，用于危机相关文本。
• 在仅增加少量额外数据的前提下，评估模型从少数到大量危机类别扩展时的鲁棒性。

提出的方法

• 提出 CrisisBERT，一种基于 BERT 的微调 Transformer 模型，用于端到端的推文危机分类任务。
• 采用多头自注意力机制与位置编码，以捕捉危机文本中的长距离依赖关系与上下文语义。
• 提出 Crisis2Vec，一种基于 Transformer 的、文档级别的上下文嵌入模型，训练数据为危机相关推文。
• 在多个危机分类基准数据集上训练 CrisisBERT，涵盖危机检测（二分类）与危机识别（多分类）任务。
• 采用迁移学习，使用预训练权重，并在危机特定数据集上进行微调，以提升下游任务性能。
• 应用注意力机制生成上下文嵌入，以捕捉危机相关语言中的语义与句法细微差别。

实验结果

研究问题

• RQ1 基于 Transformer 的模型（如 CrisisBERT）是否能在危机分类任务中超越传统机器学习与神经网络模型？
• RQ2 当模型泛化到越来越多的危机类型时，CrisisBERT 的鲁棒性如何，尤其是在仅增加少量额外训练数据的情况下？
• RQ3 像 Crisis2Vec 这样的文档级上下文嵌入模型是否能优于 Word2Vec 与 GloVe 等静态词嵌入模型，从而提升分类性能？
• RQ4 当从 6 个危机类别扩展到 36 个类别时，现有模型的性能下降程度如何？CrisisBERT 与之相比表现如何？
• RQ5 使用 Crisis2Vec 生成的上下文嵌入是否能持续增强下游分类模型（如逻辑回归与 LSTM）的性能？

主要发现

• CrisisBERT 实现了最先进性能，在危机识别与检测任务中，F1 分数最高提升 25.0%，准确率最高提升 8.2%。
• 当危机类别从 6 个扩展到 36 个时，CrisisBERT 的 F1 分数仅下降 1.6%，准确率仅下降 0.7%，展现出远超基线模型的鲁棒性。
• Crisis2Vec 在性能上优于传统的词嵌入模型（如 Word2Vec 与 GloVe），显著提升了逻辑回归与 LSTM 模型的分类表现。
• 其他模型在从 6 个扩展到 36 个类别时，F1 分数下降幅度在 6.0% 至 67.2% 之间，凸显 CrisisBERT 的稳定性。
• CrisisBERT 仅需增加 51.4% 的训练数据即可实现从 6 个到 36 个类别的扩展，性能损失微乎其微。
• 据作者所知，本研究是首个将基于 Transformer 的模型与文档级上下文嵌入应用于危机分类与嵌入任务的研究。