[论文解读] Happenstance: Utilizing Semantic Search to Track Russian State Media Narratives about the Russo-Ukrainian War On Reddit

Hans W. A. Hanley, Dinesh Kumar+1 more|arXiv (Cornell University)|May 28, 2022

Opinion Dynamics and Social Influence被引用 12

一句话总结

本文提出一种基于MPNet语言模型的句子级语义搜索方法，用于追踪新闻网站和Reddit上关于俄乌战争的俄罗斯国营媒体叙事。通过将句子嵌入密集向量空间，并应用UMAP、HDBSCAN和TF-IDF聚类，识别出虚假信息主题并绘制其传播路径——发现r/Russia中39.6%的评论与俄罗斯宣传叙事一致，显著高于r/politics中的8.86%。

ABSTRACT

In the buildup to and in the weeks following the Russian Federation's invasion of Ukraine, Russian state media outlets output torrents of misleading and outright false information. In this work, we study this coordinated information campaign in order to understand the most prominent state media narratives touted by the Russian government to English-speaking audiences. To do this, we first perform sentence-level topic analysis using the large-language model MPNet on articles published by ten different pro-Russian propaganda websites including the new Russian "fact-checking" website waronfakes.com. Within this ecosystem, we show that smaller websites like katehon.com were highly effective at publishing topics that were later echoed by other Russian sites. After analyzing this set of Russian information narratives, we then analyze their correspondence with narratives and topics of discussion on the r/Russia and 10 other political subreddits. Using MPNet and a semantic search algorithm, we map these subreddits' comments to the set of topics extracted from our set of Russian websites, finding that 39.6% of r/Russia comments corresponded to narratives from pro-Russian propaganda websites compared to 8.86% on r/politics.

研究动机与目标

• 开发一种程序化方法，用于追踪虚假信息叙事在新闻和社交媒体平台间的传播。
• 克服基于关键词和LDA主题建模在检测语义相似但细微的虚假信息方面的局限性。
• 识别出在起源和放大特定虚假信息叙事方面最具影响力的俄罗斯国营媒体网站。
• 量化俄罗斯国营媒体叙事在英语社交媒体讨论中的传播程度，特别是在Reddit上的表现。
• 展示使用大型语言模型进行句子级语义分析在真实冲突情境下追踪虚假信息的有效性。

提出的方法

• 使用MPNet语言模型为10家亲俄罗斯宣传网站的文章生成密集语义句子嵌入，其中包括waronfakes.com。
• 对句子嵌入应用UMAP降维，以保留局部和全局的语义结构。
• 使用HDBSCAN聚类将语义相似的句子分组为连贯的主题，假设每个句子表达一个主要主题。
• 通过在每个聚类上应用基于类别的TF-IDF提取主题关键词，以增强所识别叙事的可解释性。
• 通过将Reddit评论映射到相同的嵌入空间并基于余弦相似度将每条评论匹配到最近的聚类，执行语义搜索。
• 使用最小语义相似度阈值对匹配结果进行筛选，以确保评论与新闻文章主题之间具有可靠的叙事一致性。

实验结果

研究问题

• RQ1 哪些俄罗斯国营媒体网站在发起和放大关于俄乌战争的虚假信息叙事方面最为有效？
• RQ2 俄罗斯国营媒体的叙事在英语社交媒体讨论中，特别是在Reddit上，传播程度如何，尤其是r/Russia？
• RQ3 r/Russia中俄罗斯国营媒体叙事的普遍程度与r/politics等其他政治子版块相比如何？
• RQ4 句子级语义分析是否能优于基于关键词或文档级主题建模，在跨平台虚假信息传播检测中表现更优？
• RQ5 特定虚假信息叙事（如美国生物武器或‘去纳粹化’说法）如何在不同子版块间传播？

主要发现

• katehon.com、strategic-culture.org和geopolitica.ru等网站具有高度影响力，其他媒体在这些网站引入新叙事后，平均额外产出21篇相关文章。
• 关于美国在乌克兰资助生物武器研究的叙事被广泛传播，俄罗斯今日新闻（Russia Today）和Sputnik News分别发布了35篇和44篇文章推广该叙事。
• 2022年1月1日至3月15日期间，r/Russia中39.6%的评论在语义上与俄罗斯国营媒体网站的叙事一致。
• 相比之下，r/politics中仅有8.86%的评论与相同叙事相关，表明r/Russia对这些叙事的暴露程度显著更高。
• 尽管r/Russia被封禁，其子版块仍持续存在较高水平的虚假信息相关内容，高于其他子版块。
• 语义搜索方法成功追踪了两大虚假信息叙事（美国生物武器和乌克兰纳粹主义升高）在11个子版块中的传播，证明了其可扩展性和精确性。