[論文レビュー] Cyber Attack Detection thanks to Machine Learning Algorithms

Antoine Delplace, Sheryl Hermoso+1 more|arXiv (Cornell University)|Jan 17, 2020

Network Security and Intrusion Detection参考文献 23被引用数 10

ひとこと要約

本稿では、NetFlowデータを用いたネットワークトラフィックにおけるボットネット検出のための機械学習ベースのアプローチを提案する。22の特徴量を抽出し、教師あり学習アルゴリズムを適用する。ランダムフォレスト分類器は13のシナリオのうち8つで95％を超える検出精度を達成し、ブートストラップを用いたデータ拡張により、最も困難なケースでも55％を超える性能を示す。

ABSTRACT

Cybersecurity attacks are growing both in frequency and sophistication over the years. This increasing sophistication and complexity call for more advancement and continuous innovation in defensive strategies. Traditional methods of intrusion detection and deep packet inspection, while still largely used and recommended, are no longer sufficient to meet the demands of growing security threats. As computing power increases and cost drops, Machine Learning is seen as an alternative method or an additional mechanism to defend against malwares, botnets, and other attacks. This paper explores Machine Learning as a viable solution by examining its capabilities to classify malicious traffic in a network. First, a strong data analysis is performed resulting in 22 extracted features from the initial Netflow datasets. All these features are then compared with one another through a feature selection process. Then, our approach analyzes five different machine learning algorithms against NetFlow dataset containing common botnets. The Random Forest Classifier succeeds in detecting more than 95% of the botnets in 8 out of 13 scenarios and more than 55% in the most difficult datasets. Finally, insight is given to improve and generalize the results, especially through a bootstrapping technique.

研究の動機と目的

• 進化を続けるボットネットを検出するうえで、従来の署名ベースおよび行動ベースの侵入検知システムの限界を克服すること。
• NetFlowデータを用いたリアルタイムのサイバー攻撃検出において、スケーラブルでプライバシーを尊重する代替手法としての機械学習の可能性を検討すること。
• 特徴量工学とデータ拡張を活用して、低頻度または複雑なボットネット行動の検出精度を向上させること。
• 複数の機械学習アルゴリズムを比較し、ネットワークトラフィックにおけるボットネット検出に最も効果的なモデルを同定すること。
• 強固な特徴量選択とモデルチューニングを用いて、多様なボットネットタイプとネットワーク環境にわたる検出性能の一般化を図ること。

提案手法

• 時間窓を用いた集計処理により、CTU-13 NetFlowデータセットから22のネットワーク特徴量を抽出し、時間的変動パターンを捉える。
• フィルタ法、ワラッパー法、埋め込み法の特徴量選択技術を適用し、ボットネット検出に最も特徴的な特徴量を同定する。
• ロジスティック回帰、SVM、ランダムフォレスト、勾配ブースティング、密度ニューラルネットワークの5つの教師あり学習モデルを訓練・評価する。
• 困難なシナリオにおける未代表的データを補完するためにブートストラップを用い、モデルの一般化性能と検出率を向上させる。
• 50回のランダムなテスト分割を用いた統計的分析により、低データ環境下でのモデルの堅牢性と信頼性を検証する。
• 適合率、再現率、F1スコアを用いてモデルを評価し、検出性能と誤検出率のバランスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、多様なボットネットタイプにわたって、高精度かつ高再現率でNetFlowデータ内のボットネットトラフィックを検出できるか？
• RQ2 異なるデータ代表性や複雑さの下で、さまざまな機械学習アルゴリズムのボットネット検出性能はどのように比較できるか？
• RQ3 ブートストラップによるデータ拡張は、希少または代表的でないボットネットサンプルが中心のシナリオで、どの程度検出性能を向上させられるか？
• RQ4 NetFlowから抽出されたどのネットワーク特徴量がボットネット活動の予測に最も寄与するか、またそれらがモデル性能にどのように寄与するか？
• RQ5 自己教師あり学習や代替の深層学習アーキテクチャ（例：LSTM）は、最も困難な検出シナリオにおいてさらなる性能向上をもたらすか？

主な発見

• ランダムフォレスト分類器は、13のテストシナリオのうち8つでF1スコアが95％を超える高い一般化性能を示し、多様なボットネットタイプへの対応を裏付けた。
• 最も困難なシナリオ（4, 5, 7, 11, 12）において、ブートストラップによるデータ拡張を適用した後も、ランダムフォレストはF1スコアが55％を超える性能を維持した。
• ロジスティック回帰および密度ニューラルネットワークモデルは、低データ環境で性能が著しく劣り、Sogou や NSIS.ay などのボットネットではF1スコアが0.10未満にとどまった。
• 勾配ブースティングはランダムフォレストに近く、特にデータ代表性が高いシナリオ（例：Virut、テストセットでF1 = 0.73）では優れた性能を示した。
• ブートストラップ適用後、シナリオ4ではF1スコアが0.75、シナリオ12では0.54に上昇し、困難なケースの検出性能向上に部分的な成功を収めた。
• 50回のランダムなテスト分割を用いた統計的分析により、モデル性能が安定的かつ再現可能であることが確認され、結果の信頼性が裏付けられた。