[論文レビュー] Challenges and Opportunities in Information Manipulation Detection: An Examination of Wartime Russian Media

Chan Young Park, Julia Mendelsohn+2 more|arXiv (Cornell University)|May 24, 2022

Misinformation and Its Impacts被引用数 14

ひとこと要約

本稿では、2022年のロシア・ウクライナ戦争の前後における、TwitterおよびVKontakteのロシア語メディア投稿約3800万件から成るVoynaSlovというデータセットを紹介する。このデータセットは、アジェンダ・セットティング、フレーミング、プライミングといった洗練された情報操作戦略を研究することを目的としている。翻訳済み英語テキストを用いたNLPモデルの分析により、プラットフォームやメディア機関ごとの操作戦略の差が明らかになり、リアルタイムの危機状況における洗練されたプロパガンダを検出するための現在のNLP手法の限界も露呈された。

ABSTRACT

NLP research on public opinion manipulation campaigns has primarily focused on detecting overt strategies such as fake news and disinformation. However, information manipulation in the ongoing Russia-Ukraine war exemplifies how governments and media also employ more nuanced strategies. We release a new dataset, VoynaSlov, containing 38M+ posts from Russian media outlets on Twitter and VKontakte, as well as public activity and responses, immediately preceding and during the 2022 Russia-Ukraine war. We apply standard and recently-developed NLP models on VoynaSlov to examine agenda setting, framing, and priming, several strategies underlying information manipulation, and reveal variation across media outlet control, social media platform, and time. Our examination of these media effects and extensive discussion of current approaches' limitations encourage further development of NLP models for understanding information manipulation in emerging crises, as well as other real-world and interdisciplinary tasks.

研究の動機と目的

• リアルタイムの危機状況において、国家が支援する情報操作を捉えた大規模で現実世界のデータセットが不足しているという問題に対処すること。
• ロシア＝ウクライナ戦争の過程で、アジェンダ・セットティング、フレーミング、プライミングといった洗練された操作戦略が、メディア機関やプラットフォームごとにどのように展開されているかを調査すること。
• 現在のNLPモデルが、フェイクニュース以外の洗練された形のメディア操作を検出する際の性能と限界を評価すること。
• 今後のNLP研究が、新規の紛争や多分野的文脈において情報操作を検出し、是正する基盤を提供すること。

提案手法

• 2021年1月以降、43のロシア語メディア機関（うち23社は国家関連、20社は独立系）のTwitterおよびVKontakteの投稿を収集した。
• 翻訳のため、FacebookのWMT-ru-enモデルを用いて、すべてのロシア語コンテンツを英語に変換した。
• MFC（メディアフレーミングコーパス）で微調整されたXLM-RoBERTaベースのモデルを用い、投稿およびコメントの文単位でフレームラベルを割り当てた。
• 多数決による投票とランダムなタイブレーキングを用いて、文単位のフレームラベルを集約し、投稿およびコメント単位のラベルを生成した。
• モデルの性能と翻訳品質を評価するため、49件の投稿から抽出した103のロシア語文を対象に、ネイティブ・ロシア語話者による人間のアノテーションを実施。フレームと翻訳の信頼性を評価した。
• メディア機関のタイプ（国家関連対独立系）、プラットフォーム（VK対Twitter）、時間（戦前対戦時）の観点から、情報操作戦略の変動を分析した。

実験結果

リサーチクエスチョン

• RQ1 2022年の戦争中に、国家関連メディアと独立系メディアのロシア語メディア機関では、アジェンダ・セットティング、フレーミング、プライミング戦略にどのような差が見られるか？
• RQ2 ロシア戦時メディアの文脈において、VKontakteとTwitterの両プラットフォーム間で、情報操作戦略にどのような差が生じるか？
• RQ3 現在のNLPモデルは、多言語的でリアルタイムの危機データにおいて、洗練されたフレーミング戦略を検出する際に、どの程度の性能を示すか？
• RQ4 機械翻訳の出力は、元のフレーミング意図をどの程度正確に保持しているのか？ そして、その影響は、後続のNLP分析にどのように現れるか？
• RQ5 新規紛争における、洗練されたフェイクニュース以外の形での情報操作を検出するにあたり、現在のNLPモデルの主な限界は何か？

主な発見

• VoynaSlovデータセットには、2021年1月以降に収集された、ロシアのメディアが発信したTwitterおよびVKontakte上の投稿が3800万件以上含まれており、戦前と戦時の両期間をカバーしている。
• NLPモデルは「健康と安全」フレームでは62.9％のマクロF1スコア、「犯罪と罰」フレームでは60.0％を記録したが、抽象的フレーム（例：「能力と資源」、「法的根拠、憲法的根拠、管轄権」）では0％のF1スコアにとどまり、性能が著しく低かった。
• 翻訳の品質は高く、99％の翻訳が「良い」または「可」と評価され、フレーム分析に一般的に信頼できる英語訳が得られていることが示された。
• 国家関連メディアと独立系メディア、およびプラットフォーム（特に戦時と戦前）の間で、フレーミングおよびアジェンダ・セットティング戦略の差が顕著に観察された。
• 本研究では、現在のNLPモデルが抽象的かつ複雑なフレーミングカテゴリを処理する際に困難を抱えることが明らかになった。これは、顕著なフェイクニュースを超えた洗練された操作を検出するうえでの重要なギャップを示している。
• 高品質な翻訳と、具体的なフレームでは高い性能を示したものの、全体としてのモデル性能は限定的であった。特に、文脈依存性の高い洗練されたフレームでは顕著に限界が見られた。これは、危機検出において文脈に配慮し、解釈可能性を重視したNLPモデルの開発が急務であることを示唆している。