[論文レビュー] Classification and Explanation of Distributed Denial-of-Service (DDoS) Attack Detection using Machine Learning and Shapley Additive Explanation (SHAP) Methods

Yuanyuan Wei, Julian Jang‐Jaccard+3 more|arXiv (Cornell University)|Jun 27, 2023

Network Security and Intrusion Detection被引用数 4

ひとこと要約

本論文は、特徴量選択と説明可能なAIを組み合わせた機械学習フレームワークを提案し、高精度かつ解釈可能なDOS攻撃の検出を実現する。CICDDoS2019データセットから上位20の特徴量を抽出し、その上で訓練されたMLP分類器に対してSHAP解釈を適用した結果、1対1および1対多の分類シナリオにおいて99％を超える精度を達成した。SHAPは特徴量の予測への寄与度をグローバルおよびローカルに解釈可能に示した。

ABSTRACT

DDoS attacks involve overwhelming a target system with a large number of requests or traffic from multiple sources, disrupting the normal traffic of a targeted server, service, or network. Distinguishing between legitimate traffic and malicious traffic is a challenging task. It is possible to classify legitimate traffic and malicious traffic and analysis the network traffic by using machine learning and deep learning techniques. However, an inter-model explanation implemented to classify a traffic flow whether is benign or malicious is an important investigation of the inner working theory of the model to increase the trustworthiness of the model. Explainable Artificial Intelligence (XAI) can explain the decision-making of the machine learning models that can be classified and identify DDoS traffic. In this context, we proposed a framework that can not only classify legitimate traffic and malicious traffic of DDoS attacks but also use SHAP to explain the decision-making of the classifier model. To address this concern, we first adopt feature selection techniques to select the top 20 important features based on feature importance techniques (e.g., XGB-based SHAP feature importance). Following that, the Multi-layer Perceptron Network (MLP) part of our proposed model uses the optimized features of the DDoS attack dataset as inputs to classify legitimate and malicious traffic. We perform extensive experiments with all features and selected features. The evaluation results show that the model performance with selected features achieves above 99\% accuracy. Finally, to provide interpretability, XAI can be adopted to explain the model performance between the prediction results and features based on global and local explanations by SHAP, which can better explain the results achieved by our proposed framework.

研究の動機と目的

• 高精度なDOS攻撃検出を実現するとともに、セキュリティ専門家が理解可能なモデルの解釈性を保証する課題に対処すること。
• 複数の特徴量重要度技術を用いて関連性の高い特徴量を選択することで、モデルの複雑さを低減し、性能を向上させること。
• グローバルおよびローカルな解釈性を提供するSHAPを用いて、モデルの予測結果を透明かつ人間が理解可能な形で説明すること。
• 1対1（正常対1つの攻撃タイプ）および1対多（正常対複数の攻撃タイプ）の分類シナリオにおいて、フレームワークの評価を実施すること。
• 説明可能なAIが、サイバーセキュリティ分野におけるブラックボックスモデルに対する信頼を高められることを示すこと。

提案手法

• XGBoostに基づく3つの特徴量重要度技術（XGBベースの特徴量重要度、順列特徴量重要度、SHAP特徴量重要度）を用いた特徴量選択。
• CICDDoS2019データセットから、最も影響力のある上位20の特徴量を選定し、最適化された特徴量サブセットを構築すること。
• バイナリ分類用に、最適化された特徴量サブセット上でマルチレイヤーパーセプトロン（MLP）分類器を訓練すること。
• 1対1（正常対1つの攻撃タイプ）および1対多（正常対複数のDOS攻撃タイプ）の2つのシナリオにおいて、モデルの性能を評価すること。
• 予測結果のグローバルおよびローカルな解釈のため、Kernel SHAPを適用し、分類結果に与える特徴量の寄与度を可視化すること。
• 個々の予測を解釈するためのフォースプロットを用い、正常（1.00）または悪意ある（0.00）クラスへの予測シフトに寄与する特徴量を示すこと。

実験結果

リサーチクエスチョン

• RQ1 CICDDoS2019データセットの上位20の特徴量のみを用いて、機械学習モデルが99％を超える精度でDOS攻撃を分類できるか？
• RQ2 XGBoost、順列、SHAPといった異なる特徴量重要度技術は、DOS攻撃検出に適した特徴量を特定する上で、どのように比較されるか？
• RQ3 SHAPは、MLP分類器の予測に対して、どの程度意味のあるローカルおよびグローバルな解釈を提供できるか？
• RQ4 モデルが通信を正常または悪意あると分類する意思決定に最も影響を与える特徴量は何か？
• RQ5 特徴量選択とSHAP解釈性の組み合わせにより、ブラックボックスDOS攻撃検出モデルに対する信頼が向上するか？

主な発見

• MLP分類器は、上位20の選択された特徴量で訓練された場合、1対1および1対多の分類シナリオの両方で99％を超える精度を達成した。
• 「Inbound」特徴量は一貫して上位寄与度を示し、値が0または1である場合、正常または悪意あるクラスへの予測に顕著な影響を与えた。
• SHAPベースのローカル解釈は、誤分類例を明確に特定した。例えば、正常通信が「Inbound」（0）や「Min Packet Length」（0）の高寄与度により悪意あると誤分類された。
• グローバルなSHAP解釈では、特徴量が重要度の高い順にランク付けされ、特に「Min Packet Length」、「Fwd Packet Length Min」、「Inbound」が最も影響力のある特徴量であった。
• フォースプロットは、個々の特徴量が予測結果に与える影響（正常ラベルへの正の寄与（赤）、悪意あるラベルへの負の寄与（青））を効果的に可視化した。
• 本フレームワークは、特徴量の削減とSHAPによる解釈性を併せ持つことで、高精度なDOS攻撃検出が可能であり、かつ完全に解釈可能な状態を維持できることを示した。