[论文解读] Explainable Intrusion Detection Systems (X-IDS): A Survey of Current Methods, Challenges, and Opportunities

Subash Neupane, Jesse Ables+5 more|arXiv (Cornell University)|Jul 13, 2022

Network Security and Intrusion Detection被引用 4

一句话总结

本综述通过分析基于人工智能的入侵检测系统（IDS）中白盒与黑盒可解释性方法，提出了一套系统化的可解释入侵检测系统（X-IDS）框架。该框架提出了一种三层人类在回路架构，识别出模型不透明性和对抗性攻击等关键挑战，并建议采用标准化指标和面向利益相关者的解释方式，以提升网络安全运营中心（CSoCs）中的信任度与决策能力。

ABSTRACT

The application of Artificial Intelligence (AI) and Machine Learning (ML) to cybersecurity challenges has gained traction in industry and academia, partially as a result of widespread malware attacks on critical systems such as cloud infrastructures and government institutions. Intrusion Detection Systems (IDS), using some forms of AI, have received widespread adoption due to their ability to handle vast amounts of data with a high prediction accuracy. These systems are hosted in the organizational Cyber Security Operation Center (CSoC) as a defense tool to monitor and detect malicious network flow that would otherwise impact the Confidentiality, Integrity, and Availability (CIA). CSoC analysts rely on these systems to make decisions about the detected threats. However, IDSs designed using Deep Learning (DL) techniques are often treated as black box models and do not provide a justification for their predictions. This creates a barrier for CSoC analysts, as they are unable to improve their decisions based on the model's predictions. One solution to this problem is to design explainable IDS (X-IDS). This survey reviews the state-of-the-art in explainable AI (XAI) for IDS, its current challenges, and discusses how these challenges span to the design of an X-IDS. In particular, we discuss black box and white box approaches comprehensively. We also present the tradeoff between these approaches in terms of their performance and ability to produce explanations. Furthermore, we propose a generic architecture that considers human-in-the-loop which can be used as a guideline when designing an X-IDS. Research recommendations are given from three critical viewpoints: the need to define explainability for IDS, the need to create explanations tailored to various stakeholders, and the need to design metrics to evaluate explanations.

研究动机与目标

• 解决基于深度学习的入侵检测系统（IDS）缺乏透明性的问题，这些系统被视为黑箱，阻碍分析师的信任与决策。
• 系统性地回顾当前可解释人工智能（XAI）在IDS中的方法，包括白盒与事后（黑盒）解释技术。
• 识别X-IDS中的关键挑战，如对解释的对抗性攻击、误导性解释以及性能开销。
• 提出一种与DARPA的XAI框架对齐的通用三层次X-IDS架构，以支持人类在回路的安全运营。
• 为可解释性的定义、面向利益相关者的解释定制以及评估指标的开发提供研究建议。

提出的方法

• 将X-IDS方法分类为白盒（如注意力机制或决策树等本征可解释模型）与黑盒（如LIME和SHAP等事后解释器）方法。
• 分析模型性能与可解释性之间的权衡，指出黑盒方法通常实现更高准确率，但需额外的解释计算开销。
• 提出一种三层次X-IDS架构：(1) 数据摄入与预处理，(2) 可解释机器学习模型（如可解释的深度神经网络或混合模型），以及(3) 供CSoC分析师使用的解释接口。
• 通过允许分析师基于领域知识验证、修正或重新训练解释，实现人类在回路的反馈机制。
• 以DARPA的XAI框架为设计指导，确保模块化、可扩展性，并与真实CSoC工作流程对齐。
• 对100余篇近期XAI与IDS相关论文进行全面调研，以识别该领域的趋势、研究空白与开放挑战。

实验结果

研究问题

• RQ1 白盒与黑盒可解释性方法在平衡IDS检测准确率与解释透明度方面的能力有何差异？
• RQ2 在真实网络安全运营中心（CSoCs）中部署X-IDS时面临的关键挑战是什么，包括对解释的对抗性攻击与性能开销？
• RQ3 如何根据不同利益相关者（如分析师、审计员、系统架构师）的需求定制解释，以提升信任度与决策能力？
• RQ4 需要哪些指标才能客观评估X-IDS中解释的质量与可靠性？
• RQ5 如何设计一种可扩展、模块化且以人类为中心的X-IDS架构，以支持实时威胁检测与解释？

主要发现

• 由于与高精度深度学习模型的兼容性，LIME和SHAP等黑盒解释方法比白盒模型更广泛采用。
• 白盒模型通常能提供更忠实、更详细的解释，但往往以牺牲检测性能为代价，相较于黑盒模型。
• 对解释的对抗性攻击——如数据中毒或模型逃避——可能操纵或降低解释质量，严重威胁X-IDS的可靠性。
• 由于数据质量差或解释算法缺陷导致的误导性或错误解释，可能误导CSoC分析师并降低系统信任度。
• 解释生成带来的性能开销是一个关键问题；选择性解释（仅解释高风险样本）是一种可行的优化策略，有助于维持实时运行。
• 目前对IDS中“可解释性”的定义尚无共识，且缺乏评估解释质量的标准化指标，凸显了重大研究空白。