[论文解读] Don't Paint It Black: White-Box Explanations for Deep Learning in Computer Security.

Alexander Warnecke, Daniel J. Arp+2 more|arXiv (Cornell University)|Jun 5, 2019

Adversarial Robustness in Machine Learning参考文献 39被引用 6

一句话总结

本文提出了一种用于评估计算机安全领域白盒解释方法的框架，聚焦于恶意软件检测与漏洞发现。该框架引入了安全特定的评估标准，如完整性、鲁棒性和效率，并对六种解释技术进行了评估，揭示了显著的性能差异，同时为实践者提供了可操作的建议。

ABSTRACT

Deep learning is increasingly used as a building block of security systems. Unfortunately, neural networks are hard to interpret and typically opaque to the practitioner. The machine learning community has started to address this problem by developing methods for explaining the predictions of neural networks. While several of these approaches have been successfully applied in the area of computer vision, their application in security has received little attention so far. It is an open question which explanation methods are appropriate for computer security and what requirements they need to satisfy. In this paper, we introduce criteria for comparing and evaluating explanation methods in the context of computer security. These cover general properties, such as the accuracy of explanations, as well as security-focused aspects, such as the completeness, efficiency, and robustness. Based on our criteria, we investigate six popular explanation methods and assess their utility in security systems for malware detection and vulnerability discovery. We observe significant differences between the methods and build on these to derive general recommendations for selecting and applying explanation methods in computer security.

研究动机与目标

• 为解决尽管在基于深度学习的安全系统中解释方法日益广泛应用，但在计算机安全领域缺乏系统性评估的问题。
• 识别并定义用于评估解释方法的安全特定标准，超越通用机器学习指标。
• 评估六种主流解释技术——Grad-CAM、LIME、SHAP、Integrated Gradients、Smooth Grad 和 DeepLIFT——在实际安全应用中的适用性。
• 为在恶意软件检测与漏洞发现流程中选择和应用解释方法提供可操作的建议。
• 弥合可解释人工智能在计算机视觉中的应用与在安全关键领域中的应用之间的差距。

提出的方法

• 作者为安全应用定义了一套全面的评估标准，包括准确性、完整性、效率以及对输入扰动的鲁棒性。
• 他们将这些标准应用于六种白盒解释方法：Grad-CAM、LIME、SHAP、Integrated Gradients、Smooth Grad 和 DeepLIFT。
• 评估在两个真实世界的安全任务上进行：使用深度神经网络进行恶意软件检测，以及在软件二进制文件中发现漏洞。
• 通过测量解释方法在多大程度上突出相关特征（例如恶意代码模式）以及在输入变化下的稳定性来评估解释质量。
• 该框架通过量化解释的保真度、覆盖范围以及对对抗性噪声的敏感性，支持对比分析。
• 基于结果，构建了基于系统需求（如速度、可靠性与可解释性）选择解释方法的决策矩阵。

实验结果

研究问题

• RQ1 在恶意软件检测与漏洞发现中，哪些解释方法能为深度学习模型提供最准确和可靠的解释？
• RQ2 不同解释方法在完整性方面表现如何——即它们是否能捕获影响模型决策的所有相关特征？
• RQ3 在输入扰动下，解释方法的鲁棒性如何，这如何影响其在对抗性环境中的可信度？
• RQ4 不同解释技术在效率和计算成本方面有何差异，这对实时安全系统有何影响？
• RQ5 哪种解释方法在安全关键应用中能实现保真度、可解释性与抗性之间的最佳平衡？

主要发现

• 在所评估的各项标准中，不同解释方法的性能存在显著差异，没有一种方法在所有方面均表现最优。
• 与 LIME 和 SHAP 相比，Integrated Gradients 和 Smooth Grad 在识别恶意代码模式方面表现出更高的保真度和鲁棒性。
• Grad-CAM 在捕捉二进制分析中常见的细微非空间特征方面完整性有限，限制了其在漏洞检测中的实用性。
• SHAP 和 LIME 在输入扰动下表现出较低的鲁棒性，这引发了其在对抗性环境中可靠性的担忧。
• 研究发现，不同解释方法在突出语义相关特征方面的能力差异显著，这对模型调试与可信度具有重要影响。
• 基于评估结果，作者建议在对可靠性与鲁棒性要求较高的安全应用中使用 Integrated Gradients 或 Smooth Grad。