[論文レビュー] Data Curation and Quality Assurance for Machine Learning-based Cyber Intrusion Detection

Haihua Chen, Ngan Tran+3 more|arXiv (Cornell University)|May 20, 2021

Network Security and Intrusion Detection参考文献 60被引用数 5

ひとこと要約

本稿では、機械学習ベースのホストベース侵入検知における性能向上を目的として、データ品質の体系的評価とその影響を検討するデータ中心のアプローチを提案する。11のHIDSデータセットと10のモデル（BERTとGPT-2を含む）を用いた分析により、特に正確性、一貫性、レピュテーションの観点から、データ品質が検知性能に顕著な影響を及ぼすことが示された。高品質なデータが使用された場合、深層学習モデルが従来のモデルを上回ることを確認した。

ABSTRACT

Intrusion detection is an essential task in the cyber threat environment. Machine learning and deep learning techniques have been applied for intrusion detection. However, most of the existing research focuses on the model work but ignores the fact that poor data quality has a direct impact on the performance of a machine learning system. More attention should be paid to the data work when building a machine learning-based intrusion detection system. This article first summarizes existing machine learning-based intrusion detection systems and the datasets used for building these systems. Then the data preparation workflow and quality requirements for intrusion detection are discussed. To figure out how data and models affect machine learning performance, we conducted experiments on 11 HIDS datasets using seven machine learning models and three deep learning models. The experimental results show that BERT and GPT were the best algorithms for HIDS on all of the datasets. However, the performance on different datasets varies, indicating the differences between the data quality of these datasets. We then evaluate the data quality of the 11 datasets based on quality dimensions proposed in this paper to determine the best characteristics that a HIDS dataset should possess in order to yield the best possible result. This research initiates a data quality perspective for researchers and practitioners to improve the performance of machine learning-based intrusion detection.

研究の動機と目的

• 機械学習ベースの侵入検知システムにおけるデータ品質の軽視された役割を是正すること。
• HIDSシナリオにおけるモデル性能に最も影響を与えるデータ品質次元を同定すること。
• 複数のデータセットとモデルを対象とした、データ品質指標と機械学習性能との相関関係を評価すること。
• 侵入検知精度の向上を目的とした、データ品質保証を重視するデータキュレーションフレームワークの提案すること。

提案手法

• 11の公開HIDSデータセットの体系的レビューを通じて、データ準備ワークフローと品質属性を分析する。
• 全11のデータセットに、7つの従来型機械学習モデルと3つの深層学習モデル（BERTとGPT-2を含む）を適用し、性能のばらつきを評価する。
• 5つの次元（レピュテーション、正確性、一貫性、完全性、多様性）を用いたデータ品質の定量的評価。
• データセットのクラス不均衡を是正し、モデルの汎化性能を向上させるためにブートストラップ技術を適用する。
• データ品質スコアとモデル性能の相関分析を通じて、主な品質要因を同定する。
• 将来のデータ品質向上のため、知識グラフやトランスファー学習などの外部知識ソースの統合。

実験結果

リサーチクエスチョン

• RQ1 正確性、一貫性、レピュテーションといったデータ品質次元は、HIDSにおける機械学習モデルの性能にどのように影響を与えるか？
• RQ2 多様なHIDSデータセット（品質が異なる）において、どの機械学習および深層学習モデルが最も優れた性能を示すか？
• RQ3 データ品質は、異なる侵入検知データセット間での性能差をどの程度説明できるか？
• RQ4 ブートストラップ技術のようなデータ品質改善手法は、クラス不均衡に起因する性能低下を緩和できるか？
• RQ5 高性能でデータ中心の侵入検知システムを構築するにあたり、最も効果的なデータキュレーション手法は何か？

主な発見

• BERTとGPT-2は、全11のHIDSデータセットで最高の性能を示し、文脈を考慮したシーケンスモデリングの侵入検知における優位性を実証した。
• Synthetic Lpr、Live Lpr、Xlock、Live Named、Inetd、Stideなどのデータセットは一貫して他のデータセットを上回り、より高い内在的データ品質を示した。
• モデル間の性能差が最も顕著に現れたのは低品質データセットにおいてであり、データ品質が重要なボトルネックであることを確認した。
• レピュテーション、正確性、一貫性が、高い検知性能を達成する上で最も影響力のあるデータ品質次元であった。
• クラス不均衡はモデル性能を著しく低下させたが、ブートストラップ技術によりモデルの頑健性と正確性が著しく向上した。
• ラベルノイズ、重複、不完全な特徴量といったデータ品質の問題が広範に存在し、モデルの汎化性能の低下と直接相関していた。