[論文レビュー] A Critical Assessment of Interpretable and Explainable Machine Learning for Intrusion Detection

Omer Subasi, Cree, Johnathan+2 more|arXiv (Cornell University)|Jul 4, 2024

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

この論文は、インシデント検出における解釈可能で説明可能な機械学習（XAI）を批判的に評価し、深層ニューラルネットワーク（DNNs）のような複雑なモデルが不必要に不透明であると主張するとともに、既存のデータセットでは単純で本質的に解釈可能なモデル（たとえば、意思決定木（DTs））が同程度の性能を発揮することを示している。研究では、特徴に基づく説明がさまざまな手法、ハイパーパrameter、最適化手順において極めて一貫性がなく、サイバーセキュリティの実務家にとって実用的でないことが明らかになった。代わりに、プロトタイプベースのモデルや対向的説明（counterfactual explanations）のような代替手法の導入を提唱している。

ABSTRACT

There has been a large number of studies in interpretable and explainable ML for cybersecurity, in particular, for intrusion detection. Many of these studies have significant amount of overlapping and repeated evaluations and analysis. At the same time, these studies overlook crucial model, data, learning process, and utility related issues and many times completely disregard them. These issues include the use of overly complex and opaque ML models, unaccounted data imbalances and correlated features, inconsistent influential features across different explanation methods, the inconsistencies stemming from the constituents of a learning process, and the implausible utility of explanations. In this work, we empirically demonstrate these issues, analyze them and propose practical solutions in the context of feature-based model explanations. Specifically, we advise avoiding complex opaque models such as Deep Neural Networks and instead using interpretable ML models such as Decision Trees as the available intrusion datasets are not difficult for such interpretable models to classify successfully. Then, we bring attention to the binary classification metrics such as Matthews Correlation Coefficient (which are well-suited for imbalanced datasets. Moreover, we find that feature-based model explanations are most often inconsistent across different settings. In this respect, to further gauge the extent of inconsistencies, we introduce the notion of cross explanations which corroborates that the features that are determined to be impactful by one explanation method most often differ from those by another method. Furthermore, we show that strongly correlated data features and the constituents of a learning process, such as hyper-parameters and the optimization routine, become yet another source of inconsistent explanations. Finally, we discuss the utility of feature-based explanations.

研究の動機と目的

• 現在のインシデント検出におけるXAI研究に内在する深刻な欠陥を特定・批判すること、特に、単純なモデルで十分なにもかかわらず、DNNsのような複雑で不透明なモデルに過剰に依存している点に焦点を当てる。
• 既存のXAI評価において軽視されている重要な機械学習の問題、たとえばクラス不均衡、特徴相関、ハイパーパrameter感受性を浮き彫りにすること。
• 特徴に基づく説明が、さまざまな説明手法、モデル、学習プロセスの要素において一貫性がなく、変動することを実証すること。
• 特徴に基づく説明の実用的有用性を評価し、サイバーセキュリティ専門家が実行可能なフィードバックを提供できないことを示すこと。
• 特徴に依存しない説明手法、たとえばプロトタイプや対向的説明への研究の焦点の転換を提言すること。

提案手法

• 2つの実世界のインシデント検出データセットを用いて、解釈可能なモデル（リッジ回帰、意思決定木）とDNNの性能を実証的に比較し、モデルの適切さを評価する。
• クラス不均衡に対処するため、主な指標としてバランス精度とマシューブ・ピアソン相関係数（MCC）を用いる。標準指標（たとえば、正解率やF1スコア）よりも優れていると主張する。
• 「クロス説明（cross-explanations）」を導入——あるモデルが重要視する特徴が、別のモデルの学習に用いられた場合にその影響が保たれるかを評価することで、説明の転送可能性をテストする——説明の一貫性を検証する。
• ハイパーパrameterと最適化ルーチンを体系的に変化させ、それらが説明の安定性と一貫性に与える影響を評価する。
• 特徴相関が説明の信頼性に与える影響を分析し、意思決定木（DTs）の内在的フィードバック（たとえば、意思決定ルール）と、SHAP やパーミュテーション重要度といった外部説明手法の差を評価する。
• 説明の実用的有用性を評価し、攻撃後対応に役立つインサイトを提供できるかを検証する。

Figure 1 : Interpretability vs. flexibility of ML models. Note that the relationship shown here is a qualitative overview of ML models.

実験結果

リサーチクエスチョン

• RQ1 DNNsのような複雑で不透明なモデルはインシデント検出に必要なのか。それとも、単純で本質的に解釈可能なモデル（意思決定木）でも同等の性能が達成可能なのか。
• RQ2 特徴に基づく説明は、さまざまな説明手法、ハイパーパrameter、最適化ルーチンによってどの程度変動するのか。
• RQ3 クラス不均衡と特徴相関は、インシデント検出におけるモデルの説明の信頼性と一貫性にどのように影響を与えるのか。
• RQ4 あるモデルから得られた説明が、別のモデルに意味的に転送可能か。これは、説明の一貫性と耐性を示す。
• RQ5 現在の特徴に基づく説明は、サイバーセキュリティ専門家にとって実用的なフィードバックを提供できるのか。それとも、実際には役立たずなのか。

主な発見

• 意思決定木やリッジ分類器といった解釈可能なモデルは、既存のインシデント検出データセットにおいてDNNと同等の分類性能を達成しており、複雑なDNNの使用は正当化されない。
• クラス不均衡なデータセットでは、正解率やF1スコアといった標準指標は誤解を招く。マシューブ・ピアソン相関係数（MCC）は、より信頼性が高く正確な指標であることが示された。
• 特徴に基づく説明は極めて一貫性がなく、SHAP やパーミュテーション重要度が特定する最も影響力のある特徴は、手法や設定によって顕著に異なる。
• クロス説明により、あるモデルが重要視する特徴が、他のモデルにほとんど転送されないことが判明し、説明の整合性と一般化性の欠如が示された。
• ハイパーパrameterや最適化ルーチンのわずかな変更は、モデル性能にほとんど影響しない（標準指標では≤0.1%、MCCでは≤2%）が、特徴の説明において顕著な不一致を引き起こし、説明の信頼性を損なう。
• 意思決定木（DTs）に内在するフィードバック（たとえば、意思決定ルール）があるにもかかわらず、特徴重要度の確率的不一致と、実行可能なガイダンスの欠如により、現在のXAI手法はサイバーセキュリティ専門家にとって実用的に役立たない。

(a) $M_{step}=c_{1}(T>threshold)+c_{2}H\\ \qquad M_{step}=0.9\times(T>7)+0.1\times H$