[論文レビュー] Domain Knowledge Aided Explainable Artificial Intelligence for Intrusion Detection and Response

Sheikh Md. Rabiul Islam, William Eberle+3 more|arXiv (Cornell University)|Nov 21, 2019

Anomaly Detection Techniques and Applications被引用数 30

ひとこと要約

本稿では、機械学習パイプラインにCIA三原則（機密性、完全性、可用性）を統合することで、ドメイン知識を補強した説明可能なAIモデルを、インシデント検出に提案している。C、I、Aに特徴量を限定することで、高い説明可能性、高速な推論（ナイーブベイズはSVMに比べ444倍高速）、未知の攻撃への強力な一般化性能を達成。未学習データにおける複数の攻撃タイプで100％の検出率を達成。

ABSTRACT

Artificial Intelligence (AI) has become an integral part of modern-day security solutions for its ability to learn very complex functions and handling "Big Data". However, the lack of explainability and interpretability of successful AI models is a key stumbling block when trust in a model's prediction is critical. This leads to human intervention, which in turn results in a delayed response or decision. While there have been major advancements in the speed and performance of AI-based intrusion detection systems, the response is still at human speed when it comes to explaining and interpreting a specific prediction or decision. In this work, we infuse popular domain knowledge (i.e., CIA principles) in our model for better explainability and validate the approach on a network intrusion detection test case. Our experimental results suggest that the infusion of domain knowledge provides better explainability as well as a faster decision or response. In addition, the infused domain knowledge generalizes the model to work well with unknown attacks, as well as opens the path to adapt to a large stream of network traffic from numerous IoT devices.

研究の動機と目的

• AIベースのインシデント検出システム（IDS）における説明可能性の欠如という深刻な課題に応えること。これは信頼性の低下と、人間が関与する意思決定の遅延を引き起こす。
• セキュリティ分野の既存知識（CIA三原則）を学習プロセスに組み込むことで、モデルの解釈性と意思決定の透明性を向上させること。
• 生データのパターンではなく、意味論的原則に依存することで、未知またはゼロデイ攻撃への一般化性能を向上させること。
• モデルの複雑さを低減することで、高帯域幅のネットワークトラフィックにおける応答時間を短縮すること。
• 軽量で解釈可能なモデルを用いることで、IoTやビッグデータ環境における大規模なネットワークトラフィックへのスケーラブルな展開を可能にすること。

提案手法

• CIA三原則（機密性、完全性、可用性）を、IDSパイプラインの特徴工学フェーズにドメイン知識として統合する。
• C、I、Aの3つの導出特徴量のみからなる最小限の特徴量セットを構築し、各分野における侵害度合いを表す。
• ナイーブベイズ（NB）を縮小された特徴量セットに適用し、速度と解釈可能性を最優先とすることで、大規模なトラフィックストリームのリアルタイム分析を可能にする。
• CICIDS2017データセットを用いて性能を検証。DDoS、ポートスキャン、SQLインジェクション、ボットネットを含む15種類の一般的な攻撃タイプをカバー。
• 複数のアルゴリズム（RF、ET、GB、ANN、SVM）と特徴量設定の間で性能を比較するため、統計的分析（例：混同行列、F1スコア）を実施。
• 未知攻撃への一般化を評価するため、テストセット内で以前に見られなかった攻撃タイプの検出率を測定。

実験結果

リサーチクエスチョン

• RQ1 CIA三原則をドメイン知識として統合することで、AIベースのインシデント検出モデルの説明可能性が向上するか？
• RQ2 C、I、Aのみに特徴空間を制限することで、検出精度を損なわず、モデルの解釈性が向上するか？
• RQ3 ドメイン補強特徴量を備えた軽量モデル（例：ナイーブベイズ）は、複雑なモデルと同等に未知攻撃を検出できるか？
• RQ4 ドメイン知識を統合したモデルの実行時間は、従来のブラックボックスモデルと比べてどの程度高速化されるか？
• RQ5 ドメイン知識の統合が、ゼロデイ攻撃や以前に見られなかった攻撃への一般化性能をどの程度向上させるか？

主な発見

• CIAベースの特徴量を用いたナイーブベイズモデルは、未学習のテストセットにおいて14種類の攻撃のうち7つで100％の検出率を達成。DDoS、ポートスキャン、SSH-Patatorを含む。
• ナイーブベイズはSVMに比べ444.50倍、勾配ブースティングに比べ77.06倍高速に実行され、大規模なトラフィックストリームのリアルタイム分析に適している。
• 構築された特徴設定を用いることで、未学習セットにおけるHeartbleedおよびWeb Attack-Sqlインスタンスの100％検出が達成されたが、ベースラインのカウントは低かった。
• CIAベースの特徴量セットは、DDoS攻撃で83.22％、Web Attack-XSSで95.65％の検出率を達成。他のモデルに比べ特定の攻撃カテゴリで優れた性能を示した。
• ランダムフォレストに比べて精度と再現率が低かったが、ドメイン特徴量を備えたNBモデルは、速度、説明可能性、未知攻撃への一般化性能のバランスが最良であった。
• CIA原則の統合により、モデルは攻撃タイプを越えて一般化可能となった。これは、セキュリティ目標の意味論的理解が、新規脅威に対する耐性を高めることを示唆している。