[論文レビュー] Anomaly Detection in Cybersecurity: Unsupervised, Graph-Based and Supervised Learning Methods in Adversarial Environments.

David Bierbrauer, Alexander Chang+2 more|arXiv (Cornell University)|May 14, 2021

Network Security and Intrusion Detection参考文献 17被引用数 5

ひとこと要約

本論文は、敵対的サイバーセキュリティ環境における異常検出のための二段階の教師ありスタッキングアンサンブルモデルを提案する。3つのベース分類器とメタ分類器（ナイーブベイズまたは意思決定木）を組み合わせた手法であり、悪意あるサンプルのF1スコアが0.97を超える高い性能を達成し、高いロバストネスを維持している。特に意思決定木をメタ分類器として用いた場合、AUCが0.98に達した。

ABSTRACT

Machine learning for anomaly detection has become a widely researched field in cybersecurity. Inherent to today's operating environment is the practice of adversarial machine learning, which attempts to circumvent machine learning models. In this work, we examine the feasibility of unsupervised learning and graph-based methods for anomaly detection in the network intrusion detection system setting, as well as leverage an ensemble approach to supervised learning of the anomaly detection problem. We incorporate a realistic adversarial training mechanism when training our supervised models to enable strong classification performance in adversarial environments. Our results indicate that the unsupervised and graph-based methods were outperformed in detecting anomalies (malicious activity) by the supervised stacking ensemble method with two levels. This model consists of three different classifiers in the first level, followed by either a Naive Bayes or Decision Tree classifier for the second level. We see that our model maintains an F1-score above 0.97 for malicious samples across all tested level two classifiers. Notably, Naive Bayes is the fastest level two classifier averaging 1.12 seconds while Decision Tree maintains the highest AUC score of 0.98.

研究の動機と目的

• 教師ありでないおよびグラフベースの異常検出手法が、敵対的ネットワークインシデント検出環境においてどのように機能するかを評価すること。
• 敵対的条件下での分類性能を向上させるために、教師ありスタッキングアンサンブルモデルを設計および実装すること。
• 回避攻撃に対するロバストネスを向上させるために、現実的な敵対的訓練メカニズムを統合すること。
• F1スコア、AUC、推論速度に注目して、アンサンブルにおける異なるメタ分類器の性能を比較すること。

提案手法

• 提案手法は二段階スタッキングアンサンブルを採用する。第一段階に3つのベース分類器、第二段階にメタ分類器（ナイーブベイズまたは意思決定木）を配置する。
• 敵対的訓練は、教師ありモデルの学習フェーズ中に統合され、潜在的な回避攻撃を模擬し、それに対して対抗する。
• メタ分類器への入力特徴として、第一段階の分類器の予測結果を活用することで、最終的な異常分類の精度を向上させる。
• 多様なベースモデルを組み合わせることで、悪意あるネットワーク活動の検出における汎化性能とロバストネスを強化する。
• 性能評価にはF1スコアとAUCが用いられ、推論速度の測定も実施される。
• 本手法は、現実的な敵対的条件下でのネットワークインシデント検出システム環境でテストされた。

実験結果

リサーチクエスチョン

• RQ1 教師ありでないおよびグラフベースの異常検出手法は、敵対的ネットワークインシデント検出において、教師ありアンサンブルモデルに比べてどのように異なるか？
• RQ2 敵対的訓練は、悪意あるネットワーク活動の検出における教師ありモデルのロバストネスを向上させることができるか？
• RQ3 異なるメタ分類器（ナイーブベイズ対意思決定木）が、スタッキングアンサンブルの性能と速度に与える影響は何か？
• RQ4 提案されたアンサンブルモデルは、敵対的環境下でどの程度のF1スコアとAUCを達成できるか？
• RQ5 異なるメタ分類器間でのアンサンブルモデルの推論速度は、どのように比較されるか？

主な発見

• 教師ありスタッキングアンサンブルモデルは、教師ありでないおよびグラフベースの手法を上回り、悪意あるネットワーク活動の検出において優れた性能を示した。
• すべてのテスト済みメタ分類器において、悪意あるサンプルのF1スコアが0.97を超えて維持された。
• ナイーブベイズメタ分類器は最も速い推論時間（平均1.12秒）を達成した。
• 意思決定木メタ分類器は最高のAUCスコア0.98を記録した。
• 教師あり学習フェーズ中に統合された敵対的訓練のおかげで、アンサンブルモデルは強いロバストネスを示した。
• 結果から、敵対的訓練を組み込んだアンサンブル学習が、敵対的サイバーセキュリティ環境における検出性能を顕著に向上させることを確認した。