[論文レビュー] Feature Extraction for Novelty Detection in Network Traffic

Kun Yang, Samory Kpotufe+1 more|arXiv (Cornell University)|Jun 30, 2020

Network Security and Intrusion Detection参考文献 30被引用数 5

ひとこと要約

本論文は、異常検出におけるネットワークトラフィック表現の特徴抽出およびエンド・ツー・エンドの評価のための体系的フレームワークとオープンソース・ツールキット（NetML）を提案する。実験により、周波数ドメイン変換よりもIAT や SAMP-NUM といった時間領域特徴が優れていることが示され、特徴選択が多様な異常タイプおよび機械学習モデルにおける検出精度に顕著な影響を与えることが明らかになった。

ABSTRACT

Data representation plays a critical role in the performance of novelty detection (or ``anomaly detection'') methods in machine learning. The data representation of network traffic often determines the effectiveness of these models as much as the model itself. The wide range of novel events that network operators need to detect (e.g., attacks, malware, new applications, changes in traffic demands) introduces the possibility for a broad range of possible models and data representations. In each scenario, practitioners must spend significant effort extracting and engineering features that are most predictive for that situation or application. While anomaly detection is well-studied in computer networking, much existing work develops specific models that presume a particular representation -- often IPFIX/NetFlow. Yet, other representations may result in higher model accuracy, and the rise of programmable networks now makes it more practical to explore a broader range of representations. To facilitate such exploration, we develop a systematic framework, open-source toolkit, and public Python library that makes it both possible and easy to extract and generate features from network traffic and perform and end-to-end evaluation of these representations across most prevalent modern novelty detection models. We first develop and publicly release an open-source tool, an accompanying Python library (NetML), and end-to-end pipeline for novelty detection in network traffic. Second, we apply this tool to five different novelty detection problems in networking, across a range of scenarios from attack detection to novel device detection. Our findings general insights and guidelines concerning which features appear to be more appropriate for particular situations.

研究の動機と目的

• ネットワークトラフィックの異常検出における有効なデータ表現の選定に関する汎用的で再現可能なガイドラインの不足に応えること。
• カスタムで一時的な特徴工学の必要性を減らすために、特徴抽出とモデル評価のための統合的でオープンソースのフレームワークを提供すること。
• 時間領域、統計的、周波数ドメインのさまざまな特徴表現が、複数の異常検出問題および機械学習モデルに与える影響を評価すること。
• 攻撃、新規デバイス、アプリケーション変更などの異なる種類の新しいネットワーク行動を検出するのに最も効果的な特徴および表現を同定すること。
• 公開されたPythonライブラリ（NetML）およびエンド・ツー・エンドのパイプラインを提供することで、再現可能性を高め、研究を加速すること。

提案手法

• 生のパケットキャプチャから共通の特徴（IAT、SAMP-NUM、SAMP-SIZEなど）を抽出するオープンソースのPythonライブラリ（NetML）を開発した。
• 時間領域特徴、統計的要約、フーリエ変換された特徴を含む多様な特徴表現を生成できる、設定可能でモジュラーなパイプラインを設計した。
• 攻撃、IoTデバイスの動作、アプリケーションレベルのトラフィック変化を表す5つの実世界のデータセットを用い、さまざまな異常タイプの評価を実施した。
• AUC（受信者操作特性曲線下の面積）を主な指標として用い、OCSVM、GMM、KDE、AE、PCA などのさまざまな非教師あり異常検出モデルの性能を比較した。
• モデルと特徴集合の間での公平な比較を確保するため、一貫したハイパーパramータチューニングと交差検証を実施した。
• IPアドレスやポート番号のような特定のヘッダ値を避けることで、モデルが行動パターンに基づいて新奇性を検出するのを保証する、表現に依存しない特徴に焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 時間領域、統計的、周波数ドメインなどの特徴表現のうち、どのタイプが異なる種類のネットワークトラフィック異常に対して最高の検出精度を達成するか？
• RQ2 集約ウィンドウやサンプリングレートの選択が、異常検出モデルの性能にどのように影響するか？
• RQ3 ネットワークトラフィックにおいて、フーリエドメイン表現は生の時間領域特徴よりも検出性能をどれほど向上させるか？
• RQ4 OCSVM、GMM、AE などの異なる機械学習モデルが、同じ特徴表現および異常タイプにおいてどのように性能を発揮するか？
• RQ5 IoT、PC、サーバーなどの多様なネットワークリソースおよびトラフィック環境において、特徴の有効性に一般化可能なパターンは存在するか？

主な発見

• IAT や SAMP-NUM といった生の時間領域特徴は、フーリエドメイン表現を常に上回り、ほとんどのモデルとデータセットにおいてFFTによるAUCの向上は顕著ではなかった。
• 統計的特徴（STATS）およびサンプルサイズ（SAMP-SIZE）は、特にBSTchおよびSFrigeのデータセットにおいて高い検出性能を達成しており、これらの表現下では異常検出がほぼ解決された状態に近い。
• SFrigeではTCPヘッダのACKフラグが真のラベルと高い相関を示しており、プロトコルレベルの挙動（例：遅延ACK）が、新しいユーザーまたはアプリケーションの行動の強力な指標である可能性を示している。
• SYNおよびFINパケットの分布は、フロー量やフロー作成パターンの変化を効果的に示しており、新規または異常なフローの検出に有用であると示唆している。
• 時間領域および統計的特徴が、複雑で動的な環境（例：IoTトラフィック）において、微細な行動的シフトをよりよく捉えるため、特徴表現間の性能差が最も顕著に現れた。
• 本研究では、モデルの性能がモデル選択よりも特徴表現に依存していることが判明し、異常検出における特徴工学の極めて重要な役割が強調された。