[論文レビュー] Better Safe Than Sorry: An Adversarial Approach to Improve Social Bot Detection

Stefano Cresci, Marinella Petrocchi+2 more|arXiv (Cornell University)|Apr 10, 2019

Spam and Phishing Detection参考文献 50被引用数 15

ひとこと要約

本稿では、ユーザー行動のデジタルDNA表現を操作することで、最先端の検出システムをかいくぐるように進化したソーシャルボットを合成する、新しい遺伝的アルゴリズムGenBotを紹介する。結果として、これらの合成ボットの最大79％が検出を回避したことが判明し、脆弱性が明らかになり、敵対的シミュレーションを通じて検出モデルの事前の強化が可能になる。

ABSTRACT

The arm race between spambots and spambot-detectors is made of several cycles (or generations): a new wave of spambots is created (and new spam is spread), new spambot filters are derived and old spambots mutate (or evolve) to new species. Recently, with the diffusion of the adversarial learning approach, a new practice is emerging: to manipulate on purpose target samples in order to make stronger detection models. Here, we manipulate generations of Twitter social bots, to obtain - and study - their possible future evolutions, with the aim of eventually deriving more effective detection techniques. In detail, we propose and experiment with a novel genetic algorithm for the synthesis of online accounts. The algorithm allows to create synthetic evolved versions of current state-of-the-art social bots. Results demonstrate that synthetic bots really escape current detection techniques. However, they give all the needed elements to improve such techniques, making possible a proactive approach for the design of social bot detection systems.

研究の動機と目的

• 将来的なボット進化を予測することで、現在のソーシャルボット検出の反応的アプローチを是正すること。
• 野生に出現する前に、ソーシャルボットの行動的進化を模擬・研究するためのプロアクティブなフレームワークを開発すること。
• 進化したボットの回避パターンと特徴を特定することで、検出の耐性を高めること。
• 再訓練および微調整用に、合成された現実的でリアルなボットデータセットの作成を可能にすること。
• 敵対的機械学習とソーシャルボット検出のギャップを埋めるために、行動モデリングに進化的技術を適用すること。

提案手法

• オンラインアカウントの行動的ライフタイムを、行動の順序を符号化した文字列として表すデジタルDNAシーケンスとして表現する。
• これらのデジタルDNAシーケンスを模倣するように進化させる、カスタム遺伝的アルゴリズム（GenBot）を設計する。
• 統計的およびエントロピーに基づく指標を用いて、進化したボットと実際の人間アカウントの行動的距離を最小化するフィットネス関数を定義する。
• 選択、クロスオーバー、突然変異といった進化的な演算子を適用し、人間らしい行動パターンを示す新しい世代の合成ボットを生成する。
• 検出のしにくさを維持しながら、特定の悪意あるタスク（例：大量リツイート、スパム送信）を実行可能なボットの進化を制限する。
• 行動的、コンテンツ的、ネットワーク的特徴に基づく3つの最先端の検出システムに対して、進化したボットを評価する。

実験結果

リサーチクエスチョン

• RQ1 デジタルDNAと遺伝的アルゴリズムを用いて、スパムボットの進化を模擬する分析フレームワークを開発できるか？
• RQ2 このフレームワークを用いて、行動が正当なアカウントと類似する新しい世代のスパムボットを合成できるか？
• RQ3 これらの進化したスパムボットは、現在の最先端の検出技術をかいくぐれるか？
• RQ4 これらの合成的で進化したボットから得られる知見を、既存の検出システムの耐性強化に活用できるか？

主な発見

• 合成的に進化したソーシャルボットの最大79％が、主要な行動ベースの検出システムを検出回避に成功した。
• 進化したボットは、イベント間隔の分布や行動シーケンスのエントロピーといった、重要な指標において、正当なユーザーと区別がつかない行動パターンを示した。
• 特にデジタルDNAシーケンス内のエントロピーは、合成ボット行動の強力な指標として浮き彫りになり、進化したボットの検出を可能にした。
• デジタルDNA表現は、効果的な行動モデリングと進化的シミュレーションを可能にし、人間らしさを再現する試みにおいて、先行研究を上回った。
• このアプローチは、現在の検出システムにおける重要な脆弱性を明らかにし、実際の展開前に敵対的進化によって弱みを露呈できることを示した。
• このフレームワークは、将来的なボット脅威に対して検出モデルを再訓練および強化できる、多様で現実的な合成データセットの生成を可能にした。