[論文レビュー] Social Turing Tests: Crowdsourcing Sybil Detection

Gang Wang, Manish Mohanlal+5 more|arXiv (Cornell University)|May 17, 2012

Spam and Phishing Detection参考文献 26被引用数 168

ひとこと要約

本稿では、人間の判断を活用して偽のアカウントを特定する、オンライン・ソーシャル・ネットワーク向けのクラウドソーシング型Sybil検出システムを提案する。専門家とクラウドソーシング作業者を用いてプロフィールを評価し、専門家はほぼ完璧な検出精度を達成する一方、クラウドソーシング作業者は低い偽陽性率を維持する。これにより、自動化手法を上回るスケーラブルな二段階型システムが実現可能となり、グラフベースの検出を回避する現実的なSybilアカウントに対しても有効である。

ABSTRACT

As popular tools for spreading spam and malware, Sybils (or fake accounts) pose a serious threat to online communities such as Online Social Networks (OSNs). Today, sophisticated attackers are creating realistic Sybils that effectively befriend legitimate users, rendering most automated Sybil detection techniques ineffective. In this paper, we explore the feasibility of a crowdsourced Sybil detection system for OSNs. We conduct a large user study on the ability of humans to detect today's Sybil accounts, using a large corpus of ground-truth Sybil accounts from the Facebook and Renren networks. We analyze detection accuracy by both "experts" and "turkers" under a variety of conditions, and find that while turkers vary significantly in their effectiveness, experts consistently produce near-optimal results. We use these results to drive the design of a multi-tier crowdsourcing Sybil detection system. Using our user study data, we show that this system is scalable, and can be highly effective either as a standalone system or as a complementary technique to current tools.

研究の動機と目的

• 従来の自動検出手法が社会的グラフおよびプロフィール分析を用いて回避する、洗練されたSybilアカウントの増加する脅威に対処する。
• 自動化ツールを回避する現実的なSybilアカウントを、クラウドソーシングによる人間の判断が効果的に検出できるかどうかを調査する。
• 多様なユーザーグループや状況における人間の検出精度を分析することで、スケーラブルで費用対効果の高いクラウドソーシング検出システムを設計する。
• プライバシー、作業員の疲労、敵対的対策の観点を考慮し、実世界のOSNにこのようなシステムを導入可能かどうかを評価する。

提案手法

• 米国、中国、インドのトルカーより成るクラウドソーシング作業者、およびUCSBの学部生を含む3つのグループによる大規模ユーザースタディを実施した。
• Facebook（米国およびインド）およびRenren（中国）から、プラットフォームのセキュリティチームによる削除前において収集された真のSybilアカウントを用いた。
• 調査疲労、ユーザーエクスペリエンス、文化的・言語的差異などのさまざまな条件下での検出精度を評価した。
• 階層的二段階型クラウドソーシングアーキテクチャを提案：専門家がフィルタをキャリブレーションし、高精度の作業者を同定する。一方、クラウドソーシング作業者は大量のチェックを実施する。
• プライバシー保護メカニズムを実装：トルカーは、報告者ユーザーが見ているのと同様のプロフィールを表示され、個人情報への露出を制限する。
• トレース駆動シミュレーションを用いて、システムのスケーラビリティ、コスト、精度を評価した。その結果、本システムは低い偽陽性率で高い検出率を達成できることを示した。

実験結果

リサーチクエスチョン

• RQ1 洗練された現実的なSybilアカウントを、特に専門家や動機付けられた非専門家が、自動検出を回避する状況でも信頼性高く検出できるか？
• RQ2 ユーザーエクスペリエンス、疲労、言語、文化的背景などの要因が、Sybil識別における人間の検出精度にどのように影響するか？
• RQ3 数百万のプロフィールにわたる検出をスケーリングする際、クラウドソーシング作業者が偽陽性率を低く維持できる程度はどの程度か？
• RQ4 敵対的ポイズニング攻撃に対して耐性があり、正確性とスケーラビリティを確保できるように、クラウドソーシング型Sybil検出システムをどのようにアーキテクチャ設計できるか？
• RQ5 ユーザーの個人データを損なわせることなく、トルカーに必要なプロフィール情報のみを公開するためのプライバシー保護メカニズムとして、どのような手法が有効か？

主な発見

• 専門家および動機付けられた学部生は、Sybilプロフィールのわずかな不整合を特定する強力な人間の直感を示し、ほぼ最適な検出精度とほぼゼロの偽陽性率を達成した。
• クラウドソーシング作業者（トルカー）は専門家ほど高い検出率を示さなかったが、偽陽性率はほぼゼロを維持しており、正当なユーザーの誤分類を回避する強力な信頼性を示した。
• クラウドソーシング作業者では、時間の経過とともに検出精度が低下したが、専門家は一貫したパフォーマンスを維持した。これは、二段階の作業者管理の必要性を示唆している。
• 一定の正確性を示す少数のテスト担当者が顕在した。これは、高精度の作業者をクラウドソーシングパイプラインで特定・優先できる可能性を示している。
• 「カメレオンプロフィール」と呼ばれる、すべてのグループが検出を回避するような極めて稀なプロフィールはほとんど見つからなかった。これは、人間が注意深く検査すれば、大多数のSybilアカウントは依然として検出可能な不整合を示していることを示している。
• シミュレーションの結果、専門家がフィルタをキャリブレーションし、クラウドワーカーが大量チェックを担当する二段階型システムは、現実的なSybilアカウントに対して、純粋な自動化アプローチを上回る高い正確性とスケーラビリティを、妥当なコストで達成できることを示した。