[論文レビュー] Happenstance: Utilizing Semantic Search to Track Russian State Media Narratives about the Russo-Ukrainian War On Reddit

Hans W. A. Hanley, Dinesh Kumar+1 more|arXiv (Cornell University)|May 28, 2022

Opinion Dynamics and Social Influence被引用数 12

ひとこと要約

本稿では、MPNet言語モデルを用いた文単位の意味的検索アプローチを提案し、ニュースサイトおよびReddit上のロシア国家メディアのロシア＝ウクライナ戦争に関するナラティブの動態を追跡する。文を密なベクトル空間に埋め込み、UMAP、HDBSCAN、TF-IDFクラスタリングを適用することで、誤情報トピックを同定し、その拡散をマップする。その結果、r/Russiaのコメントの39.6％がロシアプロパガンダナラティブと一致した一方、r/politicsでは8.86％にとどまり、顕著な差が認められた。

ABSTRACT

In the buildup to and in the weeks following the Russian Federation's invasion of Ukraine, Russian state media outlets output torrents of misleading and outright false information. In this work, we study this coordinated information campaign in order to understand the most prominent state media narratives touted by the Russian government to English-speaking audiences. To do this, we first perform sentence-level topic analysis using the large-language model MPNet on articles published by ten different pro-Russian propaganda websites including the new Russian "fact-checking" website waronfakes.com. Within this ecosystem, we show that smaller websites like katehon.com were highly effective at publishing topics that were later echoed by other Russian sites. After analyzing this set of Russian information narratives, we then analyze their correspondence with narratives and topics of discussion on the r/Russia and 10 other political subreddits. Using MPNet and a semantic search algorithm, we map these subreddits' comments to the set of topics extracted from our set of Russian websites, finding that 39.6% of r/Russia comments corresponded to narratives from pro-Russian propaganda websites compared to 8.86% on r/politics.

研究の動機と目的

• ニュースおよびソーシャルメディアプラットフォーム間で誤情報ナラティブの拡散を追跡するためのプログラム的メソッドの開発。
• キーワードベースおよびLDAベースのトピックモデリングの限界を克服し、意味的に類似した誤情報を的確に検出する。
• 特定の誤情報ナラティブを最も効果的に発信・拡散するロシア国家メディアのウェブサイトを同定すること。
• 英語圏のソーシャルメディアディスカッション、特にRedditにおいてロシア国家メディアナラティブがどの程度顕在しているかを定量化すること。
• 大規模言語モデルを用いた文単位の意味的分析が、現実の紛争状況における誤情報追跡において有効であることを実証すること。

提案手法

• 10のプロロシアプロパガンダサイト（waronfakes.comを含む）の記事に対して、MPNet言語モデルを用いて意味的文埋め込みを生成する。
• 文埋め込みの次元削減にUMAPを適用し、局所的およびグローバルな意味的構造を保持する。
• 意味的に類似した文をHDBSCANクラスタリングによりグループ化し、各文が1つの主要トピックを表現すると仮定する。
• 各クラスタに対してクラスベースのTF-IDFを適用し、特定されたナラティブの解釈可能性を高めるキーワードを抽出する。
• Redditのコメントを同じ埋め込み空間にマッピングし、コサイン類似度に基づいて各コメントを最も近いクラスタにマッチングすることで意味的検索を実施する。
• 最小意味的類似度閾値を設定し、コメントとニュース記事トピックの間の信頼性のあるナラティブ一致を保証する。

実験結果

リサーチクエスチョン

• RQ1 どのロシア国家メディアのウェブサイトが、ロシア＝ウクライナ戦争に関する誤情報ナラティブの発信および拡散において最も効果的か？
• RQ2 英語圏のディスカッション、特にRedditのr/Russiaにおいて、ロシア国家メディアのナラティブはどの程度顕在しているか？
• RQ3 r/Russiaにおけるロシア国家メディアナラティブの出現頻度は、r/politicsなどの他の政治的サブレッドと比べてどの程度高いか？
• RQ4 文単位の意味的分析は、キーワードベースまたはドキュメントレベルのトピックモデリングを上回り、プラットフォーム間での誤情報拡散を検出するのに有効か？
• RQ5 米国がウクライナで生物兵器研究を支援している、あるいは「ナチス化防止」の主張といった、特定の誤情報ナラティブは、どのように異なるサブレッド間で拡散されるか？

主な発見

• katehon.com、strategic-culture.org、geopolitica.ruなどのウェブサイトは、極めて影響力が強く、他の出版物は新規ナラティブを導入するたびに平均21件の追加記事を生成した。
• 米国がウクライナで生物兵器研究を支援しているというナラティブは広く拡散され、ロシア・トゥデーから35件、スプートニク・ニュースから44件の記事がその主張を支持した。
• 2022年1月1日から3月15日までのr/Russiaのコメントの39.6％が、ロシア国家メディアのウェブサイトのナラティブと意味的に一致した。
• これに対してr/politicsのコメントでは同様のナラティブと関連するコメントは8.86％にとどまり、r/Russiaがこれらのナラティブに著しく過剰にさらされていることが示された。
• r/Russiaが一時的に隔離された後も、他のサブレッドと比較して依然として誤情報関連コンテンツのレベルが高く維持された。
• 意味的検索アプローチは、米国生物兵器、ウクライナにおけるナチス的傾向の上昇という2つの主要な誤情報ナラティブを11のサブレッドにわたり的確に追跡でき、そのスケーラビリティと正確性を実証した。