[論文レビュー] An Unsupervised Approach to Detect Spam Campaigns that Use Botnets on Twitter

Zhouhan Chen, Devika Subramanian|arXiv (Cornell University)|Apr 14, 2018

Spam and Phishing Detection参考文献 8被引用数 43

ひとこと要約

未監視のリアルタイムシステムがボットネットによって推進されるTwitterスパムキャンペーンを検出し、重複コンテンツを含む埋め込みURLを投稿する、マルウェア/ボットネットデータベースを構築し、データセットをフィルタリングする公開APIを提供します。

ABSTRACT

In recent years, Twitter has seen a proliferation of automated accounts or bots that send spam, offer clickbait, compromise security using malware, and attempt to skew public opinion. Previous research estimates that around 9% to 17% of Twitter accounts are bots contributing to between 16% to 56% of tweets on the medium. This paper introduces an unsupervised approach to detect Twitter spam campaigns in real-time. The bot groups we detect tweet duplicate content with shortened embedded URLs over extended periods of time. Our experiments with the detection protocol reveal that bots consistently account for 10% to 50% of tweets generated from 7 popular URL shortening services on Twitter. More importantly, we discover that bots using shortened URLs are connected to large scale spam campaigns that control thousands of domains. There appear to be two distinct mechanisms used to control bot groups and we investigate both in this paper. Our detection system runs 24/7 and actively collects bots involved in spam campaigns and adds them to an evolving database of malicious bots. We make our database of detected bots available for query through a REST API so others can filter tweets from malicious bots to get high quality Twitter datasets for analysis.

研究の動機と目的

• URLを含むツイートを介してスパムとマルウェアを広めるTwitterボットの蔓延を動機づけ、対処する。
• ラベル付きデータなしで、ボットグループとスパムキャンペーンを識別する完全に無監視のリアルタイム検出システムを開発する。
• 公開APIを介して脅威情報の継続的な収集と普及を可能にする。

提案手法

• URLを含むツイートのリアルタイム異常トレンド監視を実施し、トップ-kアプローチでトレンディなネットワーク場所（netloc）を特定する。
• 最も人気のあるURL短縮サービスからツイートを収集し、新しいURLでボットネット検知をトリガーするジョブスケジューラ。
• クローラー、重複フィルター、オーバーラップベースのボット識別、無監督クラスタリングの4部構成のボット検出器で、高いテキスト類似性を持つボットグループを形成する。
• Seleniumを用いたURL解決器を用いて、リダイレクトに埋め込まれたフィッシングや秘密のURLなどの悪意のある挙動を特徴づける。
• スパムキャンペーン分類器は、WHOISを介して登録者のメールと悪意のあるURLを結びつけ、ボットネットへ登録者をマッピングし、大規模キャンペーンを特定する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付けされたトレーニングデータなしで、無監視リアルタイムシステムは協調的なTwitterスパムキャンペーンを検出できるのか？
• RQ2 短縮URLで重複した内容をツイートするボットグループは登録者によって制御された大規模スパムキャンペーンと相関するのか？
• RQ3 スパマーが Twitter ボットネットを制御する仕組みは何であり、従来の手法よりも早期にこれを検出するにはどうすればよいか？
• RQ4 ドメイン登録情報をボットネットへマッピングすることは、大規模キャンペーンを識別する上でどの程度有効か？

主な発見

• ボットは埋め込みURLを含む重複コンテンツをツイートし、URL短縮サービスからのアカウントが時間とともにツイートの 10% から 50% を占める。
• 2017年9月10日から2017年11月14日まで、11,048のボットネットの背後にある848の固有の疑わしい登録メールアドレスと185,922のアカウントが特定された。
• システムは何千のドメインを登録し、プロキシURLとフィッシングサイトを使用する大規模キャンペーンを明らかにする。
• 二つのボット制御機構が観察される：従来のボットネット（バッチドメイン/アカウント作成）と Twitter アプリを介した乗っ取られた正規アカウント。
• 3つの大規模キャンペーンは活動が顕著で、登録者名が何千ものドメインにリンクされ、グループ内で高いボット比率を示した。