[論文レビュー] TexTrolls: Identifying Russian Trolls on Twitter from a Textual Perspective

Bilal Ghanem, Davide Buscaldi+1 more|arXiv (Cornell University)|Oct 3, 2019

Misinformation and Its Impacts被引用数 11

ひとこと要約

本稿では、ツイートの内容から抽出したテーマ的特徴およびプロファイリング特徴を用いて、Twitter上でのロシア情報研究広告機関（IRA）のトゥールを検出するテキストベースの機械学習モデルを提案する。教師なしトピックモデリングと自然言語推論（NLI）特徴を適用することで、マクロF1スコア0.94を達成し、言語的スタイルとテーマ的パターンが、単一のテキスト的手がかりからも、一貫した誤情報キャンペーンを効果的に特定できることを示している。

ABSTRACT

The online new emerging suspicious users, that usually are called trolls, are one of the main sources of hate, fake, and deceptive online messages. Some agendas are utilizing these harmful users to spread incitement tweets, and as a consequence, the audience get deceived. The challenge in detecting such accounts is that they conceal their identities which make them disguised in social media, adding more difficulty to identify them using just their social network information. Therefore, in this paper, we propose a text-based approach to detect the online trolls such as those that were discovered during the US 2016 presidential elections. Our approach is mainly based on textual features which utilize thematic information, and profiling features to identify the accounts from their way of writing tweets. We deduced the thematic information in a unsupervised way and we show that coupling them with the textual features enhanced the performance of the proposed model. In addition, we find that the proposed profiling features perform the best comparing to the textual features.

研究の動機と目的

• ソーシャルネットワークメタデータに依存せずに、テキスト的特徴のみを用いてTwitter上でのロシアのトゥールを検出すること。
• 教師なしトピックモデリングを用いて抽出したテーマ的情報が、検出性能を向上させるかどうかを調査すること。
• IRAのトゥールが、感情的な言語と言語的スタイルをどのように使って世論を操作しているかを分析すること。
• 感情、主張、皮肉のマーカーなどのプロファイリング特徴が、トゥールアカウントと正当なユーザーを区別するのにどの程度有効であるかを評価すること。

提案手法

• 著者らは、ツイートから潜在的アイデオロギー的テーマを捉えるために、教師なしLDAベースのトピックモデリングを適用し、テーマ的特徴を抽出する。
• 感情（例：怒り、恐怖）、主張の強さ、および言語的マーカー（例：曇り、確実性、否定）を含む包括的なプロファイリング特徴を抽出する。
• 自然言語推論（NLI）特徴を用いて、矛盾や含意などの修辞的・論理的構造をモデル化し、操作的な書きぶりのパターンを検出する。
• 2,023個のIRAトゥールアカウントと94,643個の正当なアカウントからなるデータセットを用い、テーマ的特徴とプロファイリング特徴の組み合わせを学習に使用する機械学習分類器を訓練する。
• 性能評価には交差検証を用い、両クラスのバランスの取れた検出性能を評価する主な指標としてマクロF1を採用する。
• 誤検出事例は手動で分析され、リンクのみの投稿、曖昧な質問、削除済みリンクへの外部リンクなど、共通の失敗要因が特定された。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 教師なしトピックモデリングを用いて抽出したテーマ的情報の導入により、IRAトゥールの検出性能が向上するか？
• RQ2 RQ2: ネットワークやメタデータ信号に依存せず、テキスト的特徴のみを用いてIRAトゥールを効果的に特定できるか？
• RQ3 RQ3: IRAトゥールは、感情的な言語と言語的戦略をどのように使って世論に影響を与えているか？

主な発見

• 提案されたモデルは交差検証でマクロF1スコア0.94を達成し、IRAトゥールと正当なユーザーを効果的に区別できることを示した。
• 教師なしトピックモデリングで抽出したテーマ的特徴を、表面的なテキスト特徴と組み合わせることで、モデルの性能が顕著に向上した。
• 感情、主張、確実性に関連するプロファイリング特徴は、テーマ的特徴単体よりも、トゥールアカウントの識別に優れていた。
• モデルは、IRAトゥールが頻繁に使用する皮肉や操作的な修辞的戦略の検出においても優れた性能を示した。
• 誤検出の主な原因は、リンクのみのツイート、曖昧な質問、削除済みコンテンツへの外部リンクであり、今後の検出パイプラインではリンクの内容分析の必要性が示された。
• 手動分析の結果、皮肉が頻繁に使用されていることが判明し、今後の検出システムに皮肉検出機能を追加することが価値あるものであると考えられた。