[论文解读] A Critical Assessment of Interpretable and Explainable Machine Learning for Intrusion Detection

Omer Subasi, Cree, Johnathan+2 more|arXiv (Cornell University)|Jul 4, 2024

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文批判性评估了入侵检测中可解释性和可解释机器学习（XAI）的应用，认为复杂模型如深度神经网络（DNNs）在没有必要的情况下过于不透明，而更简单的、内在可解释的模型如决策树（DTs）在现有数据集上表现同样出色。研究显示，基于特征的解释在不同方法、超参数和优化过程之间极不一致，且对网络安全从业者缺乏实际可用性，因此主张采用原型模型或反事实解释等替代方法。

ABSTRACT

There has been a large number of studies in interpretable and explainable ML for cybersecurity, in particular, for intrusion detection. Many of these studies have significant amount of overlapping and repeated evaluations and analysis. At the same time, these studies overlook crucial model, data, learning process, and utility related issues and many times completely disregard them. These issues include the use of overly complex and opaque ML models, unaccounted data imbalances and correlated features, inconsistent influential features across different explanation methods, the inconsistencies stemming from the constituents of a learning process, and the implausible utility of explanations. In this work, we empirically demonstrate these issues, analyze them and propose practical solutions in the context of feature-based model explanations. Specifically, we advise avoiding complex opaque models such as Deep Neural Networks and instead using interpretable ML models such as Decision Trees as the available intrusion datasets are not difficult for such interpretable models to classify successfully. Then, we bring attention to the binary classification metrics such as Matthews Correlation Coefficient (which are well-suited for imbalanced datasets. Moreover, we find that feature-based model explanations are most often inconsistent across different settings. In this respect, to further gauge the extent of inconsistencies, we introduce the notion of cross explanations which corroborates that the features that are determined to be impactful by one explanation method most often differ from those by another method. Furthermore, we show that strongly correlated data features and the constituents of a learning process, such as hyper-parameters and the optimization routine, become yet another source of inconsistent explanations. Finally, we discuss the utility of feature-based explanations.

研究动机与目标

• 识别并批判当前入侵检测XAI研究中的关键缺陷，特别是尽管简单模型已足够，却仍过度依赖复杂且不透明的模型（如DNNs）。
• 强调现有XAI评估中对关键机器学习问题（如类别不平衡、特征相关性、超参数敏感性）的忽视。
• 证明基于特征的解释在不同解释方法、模型和学习过程组件之间存在显著不一致。
• 评估基于特征的解释的实际效用，表明其无法为网络安全专家提供可操作的反馈。
• 提出研究重点应转向非基于特征的解释方法，如原型或反事实解释。

提出的方法

• 通过实证比较可解释模型（Ridge、决策树）与DNN在两个真实入侵检测数据集上的性能，以评估模型适用性。
• 以平衡准确率和Matthews相关系数（MCC）为主要指标，以应对类别不平衡问题，主张其优于标准指标（如准确率和F1-score）。
• 引入“交叉解释”——一种新颖方法，通过评估一种模型识别的重要特征在另一模型训练中是否仍具影响力，来测试解释的一致性，从而评估解释的可迁移性。
• 系统性地改变超参数和优化过程，以评估其对解释稳定性与一致性的影响力。
• 分析特征相关性对解释可靠性的影响，并对比决策树（DTs）的内在反馈（如决策规则）与SHAP和置换重要性等外部解释方法的差异。
• 通过评估解释是否能为事后响应提供可操作洞察，来评估解释的实际效用。

Figure 1 : Interpretability vs. flexibility of ML models. Note that the relationship shown here is a qualitative overview of ML models.

实验结果

研究问题

• RQ1 复杂且不透明的模型（如DNNs）在入侵检测中是否必要？还是更简单的、内在可解释的模型（如决策树）即可实现相当的性能？
• RQ2 基于特征的解释在不同解释方法、超参数和优化过程之间有多大差异？
• RQ3 类别不平衡和特征相关性在多大程度上影响入侵检测中模型解释的可靠性和一致性？
• RQ4 从一个模型导出的解释能否有意义地迁移到另一个模型，以体现一致性和鲁棒性？
• RQ5 当前基于特征的解释是否能为网络安全专家提供可操作的反馈，还是实际上毫无用处？

主要发现

• 可解释模型（如决策树和Ridge分类器）在现有入侵检测数据集上的分类性能与DNNs相当，因此使用复杂DNNs缺乏正当性。
• 标准分类指标（如准确率和F1-score）在类别不平衡数据集上具有误导性；Matthews相关系数（MCC）被证明是更可靠、更准确的指标。
• 基于特征的解释极不稳定：SHAP与置换重要性等方法识别出的最关键特征在不同方法和设置间存在显著差异。
• 交叉解释表明，一种模型认为具有影响力的特征很少能在另一模型中保持影响力，说明解释缺乏一致性和泛化能力。
• 超参数或优化过程的微小变化对模型性能影响极小（标准指标变化≤0.1%，MCC变化≤2%），却导致特征解释出现显著不一致，严重削弱了解释的可信度。
• 尽管决策树（DTs）具有内在反馈（如决策规则），但特征重要性的随机不一致性以及缺乏可操作的指导，使得当前XAI方法对网络安全专家而言实际上毫无用处。

(a) $M_{step}=c_{1}(T>threshold)+c_{2}H\\ \qquad M_{step}=0.9\times(T>7)+0.1\times H$