[論文レビュー] What we learn from learning - Understanding capabilities and limitations of machine learning in botnet attacks

David Santana, Shan Suthaharan+1 more|arXiv (Cornell University)|May 3, 2018

Network Security and Intrusion Detection参考文献 14被引用数 7

ひとこと要約

本稿では、実際のネットワークフロー・データを用いて、ランダムフォレストとマルチレイヤーパーセプトロン（MLP）モデルのボットネット攻撃検出性能を評価しており、特にウィンドウサイズを含む特徴工学が性能向上に顕著に寄与することを示している。ランダムフォレストは、限られたラベル付きデータの状況下でもMLPを上回る性能を発揮し、攻撃タイプごとに絞り込んだ重要な特徴量のセットを用いることで、両モデルとも高い精度を達成している。

ABSTRACT

With a growing increase in botnet attacks, computer networks are constantly under threat from attacks that cripple cyber-infrastructure. Detecting these attacks in real-time proves to be a difficult and resource intensive task. One of the pertinent methods to detect such attacks is signature based detection using machine learning models. This paper explores the efficacy of these models at detecting botnet attacks, using data captured from large-scale network attacks. Our study provides a comprehensive overview of performance characteristics two machine learning models --- Random Forest and Multi-Layer Perceptron (Deep Learning) in such attack scenarios. Using Big Data analytics, the study explores the advantages, limitations, model/feature parameters, and overall performance of using machine learning in botnet attacks / communication. With insights gained from the analysis, this work recommends algorithms/models for specific attacks of botnets instead of a generalized model.

研究の動機と目的

• 実際のネットワークトラフィックを用いて、機械学習モデルの多様なボットネット攻撃検出における実世界での有効性を評価すること。
• IRC、スパム、DDoSなどの攻撃タイプごとに最適なモデルパラメータと特徴量セットを同定すること。
• 限られたラベル付きデータやリアルタイム処理といった現実的な制約下で、ランダムフォレストとマルチレイヤーパーセプトロン（MLP）モデルの性能を比較すること。
• 特徴量重要度分析を用いて、最小限で高い影響を持つ特徴量セットを特定することで、モデルの複雑さを低減すること。
• 一般化モデルに依存するのではなく、攻撃タイプに特化したモデルの推奨を行うこと。

提案手法

• 7つの実際のボットネット攻撃シナリオのNetflow記録を用い、教師あり学習のための時系列特徴量を抽出した。
• 大規模データセット上でモデルの学習と評価を並列処理を用いて実施した。
• 攻撃トラフィックと非攻撃トラフィックの両方に対して、標準的な性能指標（精度、再現率、F1スコア）を用いた。
• モデル性能の最適化を図るため、ハイパーパramータと特徴量空間の包括的探索を実施した。
• 各攻撃タイプごとに予測力の高い特徴量を同定するため、順列重要度を用いた特徴量重要度分析を実施した。
• 個人を特定できる情報はすべて削除され、パケットの詳細な解析（ディープパケットインスペクション）も回避されたため、モデルの効率性とプライバシーが確保された。

実験結果

リサーチクエスチョン

• RQ1 ランダムフォレストとMLPモデルは、実際のネットワークフロー・データを用いて、多様なボットネット攻撃タイプをどの程度検出できるか？
• RQ2 どの特徴量セットと集約ウィンドウサイズが、特定のボットネット攻撃タイプの検出精度を最も高めるか？
• RQ3 特にディープラーニングモデルにおいて、ラベル付きデータの可用性がモデル性能にどの程度影響を与えるか？
• RQ4 簡略化された特徴量セットは、モデルの複雑さを低減しつつも高い検出精度を維持できるか？
• RQ5 複数の攻撃タイプにわたる一般化モデルは実現可能か、それとも攻撃タイプに特化したモデルが必要か？

主な発見

• ランダムフォレストは、複数のボットネット攻撃タイプでほぼ完璧な検出精度を達成し、大多数のシナリオでMLPを上回った。
• MLPモデルはハイパーパramータチューニングによる改善が限定的であり、ラベル付きデータが限られる状況で著しく性能が低下した。
• 特徴工学、特にウィンドウサイズの選定が、モデル精度に最も大きな影響を与えた。最適なウィンドウサイズは攻撃タイプによって異なった。
• IRC攻撃では、平均接続時間と宛先IPのエントロピーが上位特徴量であった。
• スパム攻撃では、パケット数およびバイト数の標準偏差が最も重要であった。
• DDoS攻撃では、高ポート番号のフロー数（>1024）やICMPフロー数が重要な指標となった。
• 攻撃タイプごとに5〜7つの主要特徴量からなる最小限の特徴量セットで十分に高い検出精度が達成でき、モデルの複雑さを顕著に低減できた。