[論文レビュー] Don't Feed the Troll: Detecting Troll Behavior via Inverse Reinforcement Learning

Luca Luceri, Silvia Giordano+1 more|arXiv (Cornell University)|Jan 28, 2020

Spam and Phishing Detection参考文献 45被引用数 5

ひとこと要約

この論文は、SNSにおけるトロールアカウントを特定するための逆強化学習（IRL）手法を提案している。行動の背後にあるインcentive（インcentive）を推定することで、トロールと非トロールの行動差をモデル化し、悪意あるアカウントを分類する際のAUCが89.1%に達する。高い精度に加え、トロールのインセンティブの解釈可能性も提供する。

ABSTRACT

Since the 2016 US Presidential election, social media abuse has been eliciting massive concern in the academic community and beyond. Preventing and limiting the malicious activity of users, such as trolls and bots, in their manipulation campaigns is of paramount importance for the integrity of democracy, public health, and more. However, the automated detection of troll accounts is an open challenge. In this work, we propose an approach based on Inverse Reinforcement Learning (IRL) to capture troll behavior and identify troll accounts. We employ IRL to infer a set of online incentives that may steer user behavior, which in turn highlights behavioral differences between troll and non-troll accounts, enabling their accurate classification. We report promising results: the IRL-based approach is able to accurately detect troll accounts (AUC=89.1%). The differences in the predictive features between the two classes of accounts enables a principled understanding of the distinctive behaviors reflecting the incentives trolls and non-trolls respond to.

研究の動機と目的

• 2016年米国大統領選挙以降の増加するSNSトロールの脅威と一括操作キャンペーンに対処すること。
• 高精度かつ解釈可能性を備えた自動化されたトロールアカウント検出手法を開発すること。
• 逆強化学習を用いて、トロール行動を形作る背後にあるインセンティブをモデル化すること。
• 特定のインセンティブに関連する重要な行動特徴を同定することで、トロール行動と非トロール行動を区別すること。

提案手法

• 本手法は、SNS上での観察されたユーザー行動を説明する報酬関数を推定するため、逆強化学習（IRL）を用いる。
• ユーザーの行動パターンを観測することで、エンゲージメント、拡散性、論争性といったオンラインインセンティブの集合を学習する。
• 既知のトロールアカウントと非トロールアカウントの行動シーケンスを比較し、報酬構造の違いを推定する。
• 推定された報酬関数を予測特徴量として用いて、検出タスクを分類問題として定式化する。
• IRLフレームワークにより、炎上を引き起こす、注目を引く行動など、トロールインセンティブと一致する行動パターンを同定できる。
• 実世界のSNSデータを用いてモデルを訓練および評価することで、実用的妥当性と頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 SNSプラットフォーム上でのトロールアカウントと非トロールアカウントを区別する行動パターンは何か？
• RQ2 トロール行動を駆動する背後にあるインセンティブは何か。また、それらは観察可能な行動からどのように推定できるか？
• RQ3 逆強化学習は、高い精度でトロール行動を効果的にモデル化・分類できるか？
• RQ4 推定された報酬関数は、トロールユーザーと非トロールユーザーでどのように異なるか。また、それらはどのようなインサイトを提供するか？
• RQ5 モデルの解釈可能性は、悪意あるオンライン行動の理解をどの程度向上できるか？

主な発見

• IRLベースの手法は、トロールアカウント検出においてROC曲線下の面積（AUC）が89.1%に達し、優れた分類性能を示している。
• 推定された報酬関数は、トロールと通常ユーザーを区別する明確な行動インセンティブを明らかにしている。
• トロールアカウントは、エンゲージメントの強化、論争性、迅速なコンテンツ配布といったインセンティブと一致する行動パターンを示している。
• モデルは、タイミング、センチメント、相互作用パターンといった特定の行動特徴を同定し、これらがトロール行動の強力な予測要因であることを示している。
• 本手法は、ブラックボックス検出を越えて、特定の行動がなぜトロール的とされるのかを原理的かつ解釈可能な形で理解可能にする。
• 結果から、IRLは一括操作のオンライン干渉を検出するための実用的で洞察に満ちたアプローチであることが示された。