[論文レビュー] Identifying Coordinated Accounts in Disinformation Campaigns

Karishma Sharma, Emilio Ferrara+1 more|arXiv (Cornell University)|Aug 25, 2020

Misinformation and Its Impacts参考文献 30被引用数 9

ひとこと要約

本稿では、活動パターンと相互作用を時系列点過程を用いてモデル化することで、同期化や標籠済みの悪意あるアカウントを事前の仮定なしに、隠れられた行動パターンを学習することによって、協調的な誤情報アカウントを検出する、注意メカニズムを組み込んだ混合密度ネットワーク（AMDN）を提案する。この手法は、協調的行動の影響が著しく高いことを示し、米国議会選挙およびCOVID-19関連のTwitterデータにおいても、こうしたキャンペーンを同定している。

ABSTRACT

Disinformation campaigns on social media, involving coordinated activities from malicious accounts towards manipulating public opinion, have become increasingly prevalent. There has been growing evidence of social media abuse towards influencing politics and social issues in other countries, raising numerous concerns. The identification and prevention of coordinated campaigns has become critical to tackling disinformation at its source. Existing approaches to detect malicious campaigns make strict assumptions about coordinated behaviours, such as malicious accounts perform synchronized actions or share features assumed to be indicative of coordination. Others require part of the malicious accounts in the campaign to be revealed in order to detect the rest. Such assumptions significantly limit the effectiveness of existing approaches. In contrast, we propose AMDN (Attentive Mixture Density Network) to automatically uncover coordinated group behaviours from account activities and interactions between accounts, based on temporal point processes. Furthermore, we leverage the learned model to understand and explain the behaviours of coordinated accounts in disinformation campaigns. We find that the average influence between coordinated accounts is the highest, whereas these accounts are not much influenced by regular accounts. We evaluate the effectiveness of the proposed method on Twitter data related to Russian interference in US Elections. Additionally, we identify disinformation campaigns in COVID-19 data collected from Twitter, and provide the first evidence and analysis of existence of coordinated disinformation campaigns in the ongoing pandemic.

研究の動機と目的

• 同期化された行動に関する厳密な仮定に依存するか、悪意あるアカウントの事前知識を必要とする従来の誤情報検出手法の限界を是正すること。
• ラベルなし、かつ厳密な行動制約なしに、ソーシャルメディアにおける協調的グループ行動を自動で同定できるモデルの開発。
• 誤情報キャンペーンにおける協調的アカウントと通常アカウントの相互作用ダイナミクスを理解・説明すること。
• 実世界のデータセット（米国議会選挙およびCOVID-19パンデミック関連データを含む）において、協調的誤情報キャンペーンを検出・分析すること。

提案手法

• アカウントの活動と相互作用のタイミングと順序をモデル化するために、時系列点過程を統合する。
• 複数モードの行動パターンの複雑な分布を捉えるために、混合密度ネットワークを採用する。
• 異なる相互作用の影響を重みづけするために注目メカニズムを用い、協調の顕著な行動的特徴を特定する。
• ラベル付きの悪意あるアカウントがなくても、および同期投稿を仮定しなくても、アカウント行動の潜在的表現を学習する。
• 活動シーケンスにおける相互影響と時系列的整合性のパターンを検出することで、グループレベルの協調性を推定する。
• どの相互作用や時系列パターンが協調性検出に最も寄与しているかを特定することで、説明可能性を実現する。

実験結果

リサーチクエスチョン

• RQ1 同期化された行動を仮定せず、悪意あるアカウントのラベルがなくても、どのように協調的誤情報キャンペーンを検出できるか？
• RQ2 誤情報キャンペーンにおける協調的アカウントと通常ユーザーとの間で、どのような特徴的な相互作用パターンが見られるか？
• RQ3 協調的アカウント同士の影響度は、通常アカウントに対する影響度と比べてどの程度高いか？
• RQ4 提案手法は、政治的選挙以外の実世界のデータセットにおいても、協調的誤情報キャンペーンを検出できるか？
• RQ5 誤情報ネットワークにおける協調的行動を特徴づける行動的および相互作用的特性は何か？

主な発見

• 協調的アカウント間の平均的影響度は、協調的アカウントと通常アカウント間の影響度よりも顕著に高い。
• 協調的アカウントは互いに強く影響し合うが、通常アカウントからの影響は最小限である。
• モデルは、2016年米国議会選挙関連のTwitterデータにおいて、協調的誤情報キャンペーンを正常に同定した。
• AMDNは、COVID-19パンデミック関連のTwitterデータにおいて、協調的誤情報キャンペーンが存在することを初めて証明し、分析した。
• 同期化の仮定や事前のラベル付けに依存しない手法として、既存のアプローチを上回る性能を示した。
• AMDNの注目メカニズムは、協調的でない行動と区別するための重要な相互作用パターンを効果的に特定した。