[論文レビュー] Predicting enterprise cyber incidents using social network analysis on the darkweb hacker forums

Soumajyoti Sarkar, Mohammed Almukaynizi+2 more|arXiv (Cornell University)|Nov 15, 2018

Cybercrime and Law Enforcement Studies参考文献 14被引用数 25

ひとこと要約

本論文は、ダークウェブのハッキングフォーラムからのリプライネットワークを用いたソーシャルネットワーク分析フレームワークを提案し、企業向けサイバーインシデントを予測する。エキスパートユーザーを同定し、それらの間の経路構造を分析することで、F1スコア0.53を達成した。これはランダムベースライン（F1=0.37）を著しく上回り、中心性や投稿統計よりも、相互作用のダイナミクスが予測に優れていることを示している。

ABSTRACT

With rise in security breaches over the past few years, there has been an increasing need to mine insights from social media platforms to raise alerts of possible attacks in an attempt to defend conflict during competition. We use information from the darkweb forums by leveraging the reply network structure of user interactions with the goal of predicting enterprise cyber attacks. We use a suite of social network features on top of supervised learning models and validate them on a binary classification problem that attempts to predict whether there would be an attack on any given day for an organization. We conclude from our experiments using information from 53 forums in the darkweb over a span of 12 months to predict real world organization cyber attacks of 2 different security events that analyzing the path structure between groups of users is better than just studying network centralities like Pagerank or relying on the user posting statistics in the forums.

研究の動機と目的

• ダークウェブのハッキングフォーラムからの非構造的データを活用して、企業向けサイバーインシデントの増加する脅威に対処すること。
• ユーザーの相互作用ダイナミクスを用いて、現実世界のサイバー攻撃の早期警告シグナルを同定する予測モデルを開発すること。
• エキスパートユーザー間のネットワーク経路構造が、従来のネットワーク中心性やフォーラム活動指標よりも優れた予測子であるかどうかを評価すること。
• 悪意あるメールインシデントや広範なセキュリティ侵害を焦点として、実世界のサイバーインシデント事象を用いてモデルを検証すること。
• ダークウェブの議論パターンを、能動的なサイバーセキュリティ脅威インテリジェンスの信頼できる指標として用いる可能性を検討すること。

提案手法

• ユーザーの通信ダイナミクスをモデル化するため、ダークウェブフォーラムの相互作用から有向リプライネットワークを構築する。
• 定義された時間窓内において、脆弱性に関する投稿に対して他者からの注目が集まるユーザーを「エキスパート」として同定する。
• エキスパート中心の相互作用、フォーラム／ユーザー統計、ネットワーク中心性指標（例：媒介性、アウトディグリー）に基づく時系列特徴を抽出する。
• 日次予測のためのバイナリ攻撃ラベルを用い、グループラッソ正則化を施したロジスティック回帰モデルを訓練する。
• 集中した脅威状況下での性能を評価するため、高活動週（例：1週間に5件以上の攻撃）を対象とした制御された評価を実施する。
• F1スコアを用いて、ランダムベースラインおよび事前確率ベースラインと比較してモデルの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ダークウェブフォーラムにおけるリプライネットワーク構造は、従来のネットワーク中心性指標よりも、現実世界の企業向けサイバーインシデントをより効果的に予測できるか？
• RQ2 脆弱性を議論するエキスパートユーザーの周囲の相互作用ダイナミクスを分析することで、攻撃予測の正確性が向上するか？
• RQ3 経路ベースの特徴（例：媒介性）は、投稿統計や中心性指標と比較して、サイバーインシデント予測においてどのように優れているか？
• RQ4 攻撃頻度が高い時期にはフォーラムデータの予測力が向上するか？
• RQ5 ネットワークベースの特徴は、ベースラインモデルと比較して、サイバーインシデント予測における誤検出（ファルスポジティブ）を低減できるか？

主な発見

• 最も優れた特徴であるエキスパート間の経路構造は、F1スコア0.53を達成し、ランダムベースラインのF1スコア0.37を著しく上回った。
• エキスパート中心の特徴は、悪意あるメールインシデントにおいて最高のF1スコア0.55を記録し、フォーラム／ユーザー統計（0.51）、中心性ベースの特徴（0.49）の次に良かった。
• 中心性指標の中で、媒介性中心性が最高のF1スコア0.58を達成し、経路ベースの分析が次数やPageRankよりも情報量が多いことを示した。
• 高活動週（1週間に5件以上の攻撃）に限定した場合、共通コミュニティ特徴はF1スコア0.67を達成し、精度0.7、再現率0.63を記録した。
• 脆弱性の言及特徴は、高活動週において最高のF1スコア0.63を記録し、攻撃が活発な時期に信号が強まっていることを示唆した。
• ランダムフォレストはベースラインを上回る性能を示さず、このデータセットではロジスティック回帰にグループラッソ正則化を適用したモデルが最適であった。