[論文レビュー] Robustness Evaluation of Deep Unsupervised Learning Algorithms for Intrusion Detection Systems

D’Jeff K. Nkashama, Arian Soltani+4 more|arXiv (Cornell University)|Jun 25, 2022

Network Security and Intrusion Detection被引用数 7

ひとこと要約

本論文は、攻撃者による訓練データ汚染に対するインシデント検出のための6つの最先端の深層自己教師付き異常検出モデルの耐性を評価する。その結果、洗練されたモデルですら汚染攻撃の影響を大きく受けることが判明し、サイバーセキュリティMLシステムにおけるデータ摂動に対する自己防御メカニズムの重要性が浮き彫りになった。

ABSTRACT

Recently, advances in deep learning have been observed in various fields, including computer vision, natural language processing, and cybersecurity. Machine learning (ML) has demonstrated its ability as a potential tool for anomaly detection-based intrusion detection systems to build secure computer networks. Increasingly, ML approaches are widely adopted than heuristic approaches for cybersecurity because they learn directly from data. Data is critical for the development of ML systems, and becomes potential targets for attackers. Basically, data poisoning or contamination is one of the most common techniques used to fool ML models through data. This paper evaluates the robustness of six recent deep learning algorithms for intrusion detection on contaminated data. Our experiments suggest that the state-of-the-art algorithms used in this study are sensitive to data contamination and reveal the importance of self-defense against data perturbation when developing novel models, especially for intrusion detection systems.

研究の動機と目的

• インシデント検出システムにおける訓練データ汚染に対する、最新の深層自己教師付き異常検出モデルの耐性を評価すること。
• 攻撃データ汚染の種別およびレベルが、実世界のネットワークトラフィックデータセットにおけるモデル性能に与える影響を調査すること。
• KDDCUP や NSL-KDD といったレガシーデータセットと、最近の CSE-CIC-IDS2018 といったデータセットの、現在のサイバー脅威状況をどれだけ的確に反映しているかを評価すること。
• バックドア攻撃や回避攻撃の文脈において、データポイズニングに対して耐性を示すモデル設計要因を同定すること。
• 異常検出モデルの訓練パイプラインに、データ品質の検証と汚染検出機能を統合するよう提言すること。

提案手法

• CSE-CIC-IDS2018、KDDCUP、NSL-KDD データセット上で、ALAD、Deep Autoencoder (DAE)、DAGMM、DSEBM、DUAD、NeuTraLAD の6つの深層自己教師付き異常検出モデルを評価した。
• DDoS、DoS、Bot、SQLインジェクション攻撃を対象として、訓練セットに1%～5%の割合で悪意あるトラフィックサンプルを注入することで、制御されたデータポイズニングを実施した。
• 正常トラフィックおよび攻撃トラフィックの両方に対するF1スコア、各クラスの正解率、検出率といった標準指標を用いてモデル性能を測定した。
• 特定の攻撃クラスのみを訓練セットに混入することで、各攻撃クラスの影響を分離するためのアブレーションスタディを実施した。
• 汚染による意思決定境界のシフトやデータ分布の変化を分析するため、可視化技術を用いた。
• 古くなったデータセット（KDDCUP、NSL-KDD）と、より現実的で挑戦的であるCSE-CIC-IDS2018データセットにおけるモデルの挙動を比較した。

実験結果

リサーチクエスチョン

• RQ1 最先端の深層自己教師付き異常検出モデルは、悪意あるネットワークトラフィックで汚染されたデータセットで学習した場合、どの程度の性能を示すか？
• RQ2 1%～5%の汚染率を変化させた場合、インシデント検出モデルのF1スコアおよび検出正解率にどのような影響を与えるか？
• RQ3 特定の攻撃タイプ（例：DDoS、Bot、SQLインジェクション）による汚染が、異なるモデルの性能にどのように異なる影響を与えるか？
• RQ4 KDDCUP や NSL-KDD といったレガシーデータセットは、CSE-CIC-IDS2018 といった現代のデータセットと比較して、現実のモデル耐性をどの程度歪めて表現しているか？
• RQ5 クラスタリングベースの再評価（例：DUADの特徴）のような、モデル設計上のどの特徴がデータポイズニングに対してより高い耐性を示すか？

主な発見

• DAE や DAGMM といった最も洗練された深層自己教師付き異常検出モデルですら、わずか1%の悪意あるトラフィックで汚染されたデータセットで学習した場合、顕著な性能低下を示した。
• 5%の攻撃データによる汚染は、正常トラフィックの検出率を低下させ、誤検出を増加させた一方で、一部の攻撃（例：SQLインジェクション、インフィルトレーション）は、全体の正解率が低くても検出率が向上した。
• Bot攻撃の1%汚染により、DAEモデルはBot攻撃を完全に検出できず、悪意あるトラフィックが正常と誤分類されるという、潜在的なバックドアシナリオが顕在化した。
• DAEのF1スコアは、1%のDoS攻撃による汚染データセットで学習した場合、63%から50%に低下し、最小限のポイズニングでも顕著な性能低下が確認された。
• DUADは、データ空間および潜在空間での反復的クラスタリング機構により、訓練中に汚染されたサンプルを特定・緩和でき、相対的に耐性が高かった。
• KDDCUP や NSL-KDD といったレガシーデータセットは、現在のサイバー脅威状況を反映していない。これらのデータセットで良好な性能を示すモデルは、より現実的で挑戦的なCSE-CIC-IDS2018データセットではしばしば性能を発揮しない。