[论文解读] Explainable Artificial Intelligence and Cybersecurity: A Systematic Literature Review

Carlos Rafael Borges Mendes, Tatiane Nogueira Rios|arXiv (Cornell University)|Feb 27, 2023

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本篇系统性文献回顾研究了网络安全领域可解释人工智能（XAI）技术，识别出LIME、SHAP和显著性图是入侵检测、恶意软件分类及异常检测中解释模型决策的最有效方法。研究发现，LIME和SHAP等事后解释方法因具备良好的可解释性与保真度而被广泛采用，但其计算成本高及对模型的特定限制等局限性依然存在。

ABSTRACT

Cybersecurity vendors consistently apply AI (Artificial Intelligence) to their solutions and many cybersecurity domains can benefit from AI technology. However, black-box AI techniques present some difficulties in comprehension and adoption by its operators, given that their decisions are not always humanly understandable (as is usually the case with deep neural networks, for example). Since it aims to make the operation of AI algorithms more interpretable for its users and developers, XAI (eXplainable Artificial Intelligence) can be used to address this issue. Through a systematic literature review, this work seeks to investigate the current research scenario on XAI applied to cybersecurity, aiming to discover which XAI techniques have been applied in cybersecurity, and which areas of cybersecurity have already benefited from this technology.

研究动机与目标

• 调查可解释人工智能（XAI）研究在网络安全领域中的当前状态。
• 识别在网络安全应用中使用最频繁的XAI技术。
• 分析XAI方法在真实网络安全防御场景中的有效性与局限性。
• 评估XAI如何增强人工智能驱动安全系统中的信任度、调试能力与决策质量。
• 通过识别XAI在网络安全中采纳过程中的空白与挑战，为未来研究提供路线图。

提出的方法

• 依据PRISMA指南开展系统性文献回顾（SLR），以识别相关研究。
• 通过关键词在学术数据库中检索与XAI及网络安全相关的文献，并应用严格的纳入/排除标准。
• 将XAI技术分类为内在方法（如决策树）与事后方法（如LIME、SHAP、显著性图）。
• 基于其应用领域（如入侵检测、恶意软件分类、异常检测）分析相关研究。
• 从可理解性、保真度、充分性及计算开销等方面评估XAI方法。
• 综合分析52项研究的发现，以评估趋势、局限性及实际影响。

实验结果

研究问题

• RQ1 在网络安全研究中，哪些XAI技术被最频繁地应用？
• RQ2 在哪些网络安全领域（如入侵检测、恶意软件分类）中，XAI技术最为有效？
• RQ3 在安全应用中，LIME和SHAP等事后XAI方法在保真度与可解释性方面如何比较？
• RQ4 在真实网络安全系统中应用XAI的主要局限与挑战是什么？
• RQ5 XAI如何促进人工智能驱动安全决策中的信任度、调试能力与公平性？

主要发现

• LIME与SHAP是网络安全领域中最广泛使用的事后XAI技术，尤其在入侵检测与恶意软件分类中应用频繁。
• 显著性图与基于热力图的解释在可视化深度学习模型中特征重要性方面表现有效，但其解释需要领域专业知识。
• 随机森林因其固有的可解释性，相较于神经网络更受青睐，尤其在恶意软件检测任务中。
• TRUST是一种基于统计的XAI方法，在入侵检测中展现出潜力，但对分布假设敏感，可能存在过拟合风险。
• LIME与SHAP等XAI技术通过识别影响网络攻击预测的关键特征，提升了模型透明度，有助于威胁分类。
• 尽管具有优势，XAI方法仍面临高计算成本、与特定模型不兼容（如LIME不适用于卷积神经网络）以及解释过程缺乏自动化等挑战。