[論文レビュー] OEC: Open-Ended Classification for Future-Proof Link-Fraud Detection.

Neil Shah, Hemank Lamba+2 more|arXiv (Cornell University)|Apr 5, 2017

Spam and Phishing Detection参考文献 20被引用数 4

ひとこと要約

本稿では、ハニーポットが生成するインサイトを活用して、将来のリンク詐欺検出を未来志向で対応できる新たな手法OEC（Open-ended Classification）を提案する。行動パターンの分析、高精度なエントロピーに基づく特徴量の設計、動的分類フレームワークの導入により、ベースラインと比較して誤分類率を18%以上低減するとともに、精度と再現率が0.95を超える高い識別性能を達成した。

ABSTRACT

When tasked to find fraudulent social network users, what is a practitioner to do? Traditional classification can lead to poor generalization and high misclassification given few and possibly biased labels. We tackle this problem by analyzing fraudulent behavioral patterns, featurizing users to yield strong discriminative performance, and building algorithms to handle new and multimodal fraud types. First, we set up honeypots, or dummy social network accounts on which we solicit fake followers (after careful IRB approval). We report the signs of such behaviors, including oddities in local network connectivity, account attributes, and similarities and differences across fraud providers. We discover several types of fraud behaviors, with the possibility of even more. We discuss how to leverage these insights in practice, build strongly performing entropy-based features, and propose OEC (Open-ended Classification), an approach for future-proofing existing algorithms to account for the complexities of link fraud. Our contributions are (a) observations: we analyze our honeypot fraudster ecosystem and give insights regarding various fraud behaviors, (b) features: we engineer features which give exceptionally strong (>0.95 precision/recall) discriminative power on ground-truth data, and (c) algorithm: we motivate and discuss OEC, which reduces misclassification rate by >18% over baselines and routes practitioner attention to samples at high-risk of misclassification.

研究の動機と目的

• 社会的ネットワークにおける進化し、マルチモーダルなリンク詐欺を検出するための従来の分類手法の限界を是正すること。
• IRB承認を得た制御されたハニーポットの展開を通じて、多様な詐欺行動を特定・特徴付けること。
• 正解データ上で精度と再現率が0.95を超える、高い識別性能を持つ特徴量を設計すること。
• 誤分類を低減し、高リスクのサンプルに注目を向けるスケーラブルなアルゴリズムOECを開発すること。
• 今後出現する、これまでにない詐欺タイプに対しても耐性を持つ詐欺検出システムを構築すること。

提案手法

• ハニーポットアカウントをソーシャルネットワークに展開し、詐欺的フォロワー獲得行動に関する実世界のデータを収集する。
• ローカルネットワーク接続性、アカウント属性、プロバイダー間の類似性・相違性における行動の異常を分析する。
• ユーザー行動パターンの不規則性を捉え、強力な識別性能を示すエントロピーに基づく特徴量を設計する。
• 不確実性の再重み付けと高リスクサンプルへの注目を可能にすることで、新規詐欺タイプに動的に適応する分類フレームワークOECを導入する。
• 誤分類されたインスタンスを優先的に人間によるレビューに回すフィードバックループを活用し、長期的なモデルの頑健性を向上させる。
• ハニーポット展開による正解データを活用して、特徴量およびアルゴリズム部のトレーニングと検証を行う。

実験結果

リサーチクエスチョン

• RQ1 実世界の環境において、どのような行動パターンが詐欺的ソーシャルメディアアカウントと正当なアカウントを区別するか？
• RQ2 エントロピーに基づく特徴量をどのように設計すれば、リンク詐欺検出において高い精度と再現率を達成できるか？
• RQ3 分類システムが、新規かつ未確認の詐欺タイプに対してもどれほど耐性を持つことができるか？
• RQ4 OECは、動的詐欺検出において、従来のベースラインと比較してどのように誤分類率を低減するか？
• RQ5 新規の詐欺パターンの検出を最大化するために、実務家はどこに注目すべきか？

主な発見

• ハニーポット展開により、ネットワーク接続性の違いやプロバイダー固有の戦略を含む、複数の明確に異なる詐欺行動が明らかになった。
• 設計されたエントロピーに基づく特徴量は、正解データ上で精度と再現率の両方が0.95を超えた。これは強力な識別性能を示している。
• OECは、ベースライン分類手法と比較して誤分類率を18%以上低減した。
• 本システムは高リスクのサンプルに的確に注目を向けることができ、検出効率を向上させるとともに、偽陰性を低減した。
• OECは、完全な再トレーニングを必要とせず、新規の詐欺タイプに適応できるため、未来志向の実装が可能である。
• 本アプローチは、進化を続ける詐欺エコシステムにおける実世界での展開において、実用的であることが示された。