[論文レビュー] A Graph-Based Machine Learning Approach for Bot Detection

Abbas Abou Daya, Mohammad A. Salahuddin+2 more|arXiv (Cornell University)|Feb 22, 2019

Network Security and Intrusion Detection参考文献 24被引用数 39

ひとこと要約

本論文は、無監視クラスタリングを用いて善意のホストを除外し、監視付き学習でボットを検出する、二段階のグラフベースのボット検出システムを提案する。ゼロデイ攻撃に対する頑健性とネットワーク全体へのスケーラビリティを実現する。

ABSTRACT

Bot detection using machine learning (ML), with network flow-level features, has been extensively studied in the literature. However, existing flow-based approaches typically incur a high computational overhead and do not completely capture the network communication patterns, which can expose additional aspects of malicious hosts. Recently, bot detection systems which leverage communication graph analysis using ML have gained attention to overcome these limitations. A graph-based approach is rather intuitive, as graphs are true representations of network communications. In this paper, we propose a two-phased, graph-based bot detection system which leverages both unsupervised and supervised ML. The first phase prunes presumable benign hosts, while the second phase achieves bot detection with high precision. Our system detects multiple types of bots and is robust to zero-day attacks. It also accommodates different network topologies and is suitable for large-scale data.

研究の動機と目的

• フロー レベルの特徴を超えたネットワーク通信パターンを捉える頑健なボット検出の必要性を動機づける。
• 高精度のボット検出のため、無監督クラスタリングと監督分類を組み合わせた二段階のMLアプローチを提案する。
• ネットワークフローからグラフベースの特徴を開発し、従来のフローフィーチャよりもホストの挙動をより忠実に表現する。
• 大規模データセットと異なるトポロジーに跨って、ゼロデイ攻撃を含む頑健性とスケーラビリティを実証する。

提案手法

• 双方向のネットワークフローを、ホストをノード、フローを重み付きエッジとする有向グラフに変換する。
• 入次数/出次数、入次数/出次数の重み、ベットウェイ中心性、局所クラスター係数、α中心性などのグラフベースの特徴を抽出する。
• 隣接ノードの相対性を組み込み、トポロジー感度を低減するために特徴正規化を適用する。
• Phase 1: 無監督クラスタリング（SOM推奨）を適用して、善良なクラスタを分離し、それ以外のホストを識別する。
• Phase 2: 善良クラスタの外側のサブセットを対象に、監督型分類器（DT、LR、SVM、FNN）を訓練して、リコールが高いボットを検出する。

実験結果

リサーチクエスチョン

• RQ1 グラフベースのネットワークフロー表現は、従来のフロー特徴よりボット検出を改善できるか？
• RQ2 無監督の剪定に続く監督分類という二段階学習アプローチは、未知/ゼロデイボットに対して特に再現率と適合率を高めるか？
• RQ3 多様なトポロジーにわたって、善良ホストとボットホストを最もよく分離するグラフベースの特徴と正規化戦略は何か？
• RQ4 異なるPhase 1 (UL) とPhase 2 (SL) の分類器は、学習時間、再現率、適合率、未知のボットタイプに対する頑健性の点でどう性能を示すか？

主な発見

• グラフベースの特徴と二段階MLを組み合わせることで、ボット検出の頑健性とスケーラビリティが向上する。
• Phase 1 SOMクラスタリングを100ニューロンで実施すると、正規化下でベストボットを92%のリコールで分離し、善良の誤分類を最小限に抑える。
• Phase 2 DT分類器は、剪定データセット上で1つの偽陽性を伴い、ボットリコール100%を達成し、不均衡下で他のSL手法を上回る。
• 特徴正規化（F-Norm）は、ネットワーク全体で空間的安定性とボット/善良の分離を大幅に改善する。
• 二段階アプローチは、トレーニング時間を約47.2秒と短縮し、スタンドアロンの監督学習と比較して未知のボットクラスに対する頑健性を高める。
• 正規化は性能を著しく向上させる；F-Normがないと、Bot Outside Benignクラスタの比率が悪化し、ボット検出が難しくなる。