[论文解读] Covid-Transformer: Detecting COVID-19 Trending Topics on Twitter Using Universal Sentence Encoder

Meysam Asgari-Chenaghlu, Narjes Nikzad-Khasmakhi+1 more|arXiv (Cornell University)|Sep 8, 2020

Advanced Text Analysis Techniques参考文献 19被引用 19

一句话总结

本文提出了一种新颖的无监督框架，通过利用通用句子编码器（USE）嵌入进行语义表征，随后结合K均值聚类与基于深度学习的文本摘要技术，实现对Twitter上流行性COVID-19话题的检测。该方法在F1@10指标上达到62%，优于TF-IDF与LDA基线模型，通过上下文相关的句子嵌入展现出更优的语义聚类与话题一致性。

ABSTRACT

The novel corona-virus disease (also known as COVID-19) has led to a pandemic, impacting more than 200 countries across the globe. With its global impact, COVID-19 has become a major concern of people almost everywhere, and therefore there are a large number of tweets coming out from every corner of the world, about COVID-19 related topics. In this work, we try to analyze the tweets and detect the trending topics and major concerns of people on Twitter, which can enable us to better understand the situation, and devise better planning. More specifically we propose a model based on the universal sentence encoder to detect the main topics of Tweets in recent months. We used universal sentence encoder in order to derive the semantic representation and the similarity of tweets. We then used the sentence similarity and their embeddings, and feed them to K-means clustering algorithm to group similar tweets (in semantic sense). After that, the cluster summary is obtained using a text summarization algorithm based on deep learning, which can uncover the underlying topics of each cluster. Through experimental results, we show that our model can detect very informative topics, by processing a large number of tweets on sentence level (which can preserve the overall meaning of the tweets). Since this framework has no restriction on specific data distribution, it can be used to detect trending topics from any other social media and any other context rather than COVID-19. Experimental results show superiority of our proposed approach to other baselines, including TF-IDF, and latent Dirichlet allocation (LDA).

研究动机与目标

• 通过使用前沿的自然语言处理技术，以无监督方式检测Twitter上与COVID-19相关的流行话题。
• 解决传统主题建模方法（如TF-IDF与LDA）的局限性，这些方法依赖于词级统计信息，难以捕捉语义含义。
• 开发一种框架，利用深度上下文句子嵌入将语义相似的推文分组为连贯的聚类。
• 通过基于深度学习的文本摘要技术，为每个话题聚类生成简洁、可读的摘要。
• 在话题一致性、精确率、召回率与F1分数等方面，将模型性能与现有基线进行对比评估。

提出的方法

• 使用通用句子编码器（USE）从单条推文中生成密集的语义句子嵌入，以保留上下文语义信息。
• 在句子嵌入上应用K均值聚类，将语义相似的推文分组为独立的聚类。
• 采用基于深度学习的文本摘要模型，为每个聚类生成简洁、具有代表性的摘要。
• 利用句子嵌入之间的余弦相似度衡量语义相关性，从而实现有意义的聚类形成。
• 将聚类摘要输入至话题检测流程，从数据中提取高层次、可解释的话题。
• 通过精确率、召回率与F1分数（top-10排名）对框架进行评估，并与TF-IDF和LDA基线进行比较。

实验结果

研究问题

• RQ1 基于句子嵌入的方法是否能在社交媒体数据中检测到比传统词袋模型（如TF-IDF）更连贯、更具语义意义的话题？
• RQ2 与依赖概率词共现的LDA相比，使用通用句子编码器在话题聚类性能上有哪些提升？
• RQ3 基于深度学习的文本摘要在多大程度上增强了从实时Twitter数据中提取的话题聚类的可解释性？
• RQ4 考虑到其架构设计，该框架在COVID-19语境之外是否仍具备鲁棒性与泛化能力？
• RQ5 所检测到的话题与关键词与疫情早期阶段的公众真实关切相比，有何异同？

主要发现

• 所提出的模型在F1@10指标上达到0.62，显著优于TF-IDF（0.35）与LDA（0.51），展现出更优的话题检测性能。
• 与LDA相比，F1分数提升超过11%；与TF-IDF相比，提升超过27%，表明其具备更强的语义聚类能力与话题一致性。
• 聚类可视化显示，各聚类呈现清晰分离、语义明确的群体结构，而TF-IDF产生的聚类则呈现噪声大、重叠严重的状况。
• 语义嵌入的使用使得系统能够检测到重叠话题与细微关切，如对医护人员的感谢与虚假信息传播，而基于词的方法则未能捕捉到这些内容。
• 对聚类进行文本摘要后，生成了简洁、可理解的摘要，准确反映了各话题群体的核心关切。
• 该框架展现出良好的泛化能力，因其不依赖于特定数据分布或领域，可扩展至COVID-19以外的应用场景。