[論文レビュー] The Dark Side of Micro-Task Marketplaces: Characterizing Fiverr and Automatically Detecting Crowdturfing

Kyumin Lee, Steve Webb+1 more|arXiv (Cornell University)|Jun 3, 2014

Mobile Crowdsensing and Crowdsourcing参考文献 13被引用数 12

ひとこと要約

本稿では、Fiverrがマイクロタスク市場としての役割を果たし、crowdturfingを可能にする仕組みを分析し、97.35%の精度で悪意あるタスクを検出する機械学習分類器を開発した。さらに、実際に購入されたFiverrのギグが数千人の偽のTwitterフォロワーを生成したが、Twitterのセキュリティシステムはそのスケールで検出できなかった。

ABSTRACT

As human computation on crowdsourcing systems has become popular and powerful for performing tasks, malicious users have started misusing these systems by posting malicious tasks, propagating manipulated contents, and targeting popular web services such as online social networks and search engines. Recently, these malicious users moved to Fiverr, a fast-growing micro-task marketplace, where workers can post crowdturfing tasks (i.e., astroturfing campaigns run by crowd workers) and malicious customers can purchase those tasks for only $5. In this paper, we present a comprehensive analysis of Fiverr. First, we identify the most popular types of crowdturfing tasks found in this marketplace and conduct case studies for these crowdturfing tasks. Then, we build crowdturfing task detection classifiers to filter these tasks and prevent them from becoming active in the marketplace. Our experimental results show that the proposed classification approach effectively detects crowdturfing tasks, achieving 97.35% accuracy. Finally, we analyze the real world impact of crowdturfing tasks by purchasing active Fiverr tasks and quantifying their impact on a target site. As part of this analysis, we show that current security systems inadequately detect crowdsourced manipulation, which confirms the necessity of our proposed crowdturfing task detection approach.

研究の動機と目的

• Fiverr、急速に成長するマイクロタスク市場におけるcrowdturfingタスクの広がりと特徴を調査すること。
• SNS、検索エンジン、ユーザーのトラフィックを標的とする、悪意あるタスクの種別を特定すること。
• 操作されたコンテンツの拡散を防ぐために、crowdturfingタスクを自動検出するシステムを構築すること。
• これらのタスクがTwitterなどのプラットフォームに与える実世界の影響を評価し、既存のセキュリティ対策の有効性を検証すること。

提案手法

• 全カテゴリをカバーする46,176件のアクティブなFiverrギグを収集・分析し、売り手および買い手の行動を特徴づけた。
• タイトル、説明、価格、カテゴリなどのギグ特徴量の統計的分析により、正当なタスクとcrowdturfingタスクを区別した。
• 手動ラベル付きの学習データを用いて、言語的および構造的パターンに基づきcrowdturfingギグを検出する教師あり機械学習分類器を構築した。
• キーワード使用、タスクの複雑さ、売り手の評価指標などの特徴量を用いて、分類器を訓練および評価した。
• Twitterを標的とするアクティブなcrowdturfingギグを購入し、実世界の操作をシミュレートし、影響を測定した。
• Fiverrギグを通じて生成された偽フォロワーの検出率をモニタリングすることで、Twitterの既存セキュリティシステムの効果を評価した。

実験結果

リサーチクエスチョン

• RQ1 Fiverr上に最も広がっているcrowdturfingタスクの種類と、それらの特徴は何か？
• RQ2 ギグメタデータおよびコンテンツに基づき、機械学習分類器がcrowdturfingタスクを自動検出する効果はどの程度か？
• RQ3 crowdturfingタスクがTwitterのようなSNSプラットフォームに与える実世界の影響は何か？
• RQ4 現在のセキュリティシステムは、集団的で操作された影響をどの程度検出できるか？

主な発見

• 提案されたcrowdturfing検出分類器は、悪意あるギグと正当なギグを区別する際、97.35%の精度を達成した。
• 検出されたcrowdturfingギグの19,904件のうち、70.7%がSNS標的ギグ、27.3%が検索エンジン標的ギグ、2%がユーザーのトラフィック標的ギグであった。
• 購入されたFiverrギグは、Twitter上で数万名の偽のフォロワーを効果的に生成し、テストアカウントの影響力を著しく高めた。
• 2か月後、TwitterのセキュリティシステムはFiverrギグを通じて生成された偽フォロワーのうちたった24.6%しか検出できず、検出能力が低いことが示された。
• 本研究は、現在のセキュリティシステムが集団的で操作された影響を十分に検出できていないことを確認しており、タスクマーケットプレイスレベルでの事前の検出の必要性を浮き彫りにした。
• 事例研究により、SNS、検索エンジン、トラフィック操作を標的とするギグには、それぞれ明確な行動的・言語的パターンが存在し、効果的な分類が可能であることが明らかになった。