[论文解读] Hardening Classifiers against Evasion: the Good, the Bad, and the Ugly

Tong Liang, Bo Li+3 more|arXiv (Cornell University)|Aug 28, 2017

Advanced Malware Detection Techniques被引用 6

一句话总结

本文评估了特征空间对抗性模型在增强机器学习分类器抵御实际可实现的逃避攻击方面在恶意软件检测中的有效性。研究发现，尽管此类模型在基于结构的PDF恶意软件检测中成效有限，但在基于内容的检测器中更为有效——尤其是当引入能够保留恶意功能的保守特征时，可实现对多种攻击的泛化鲁棒性。

ABSTRACT

Machine learning (ML) techniques are increasingly common in security applications, such as malware and intrusion detection. However, ML models are often susceptible to evasion attacks, in which an adversary makes changes to the input (such as malware) in order to avoid being detected. A conventional approach to evaluate ML robustness to such attacks, as well as to design robust ML, is by considering simplified feature-space models of attacks, where the attacker changes ML features directly to effect evasion, while minimizing or constraining the magnitude of this change. We investigate the effectiveness of this approach to designing robust ML in the face of attacks that can be realized in actual malware (realizable attacks). We demonstrate that in the context of structure-based PDF malware detection, such techniques appear to have limited effectiveness, but they are effective with content-based detectors. In either case, we show that augmenting the feature space models with conserved features (those that cannot be unilaterally modified without compromising malicious functionality) significantly improves performance. Finally, we show that feature space models enable generalized robustness when faced with a variety of realizable attacks, as compared to classifiers which are tuned to be robust to a specific realizable attack.

研究动机与目标

• 评估特征空间对抗性模型在实际恶意软件中抵御可实现逃避攻击的有效性，这些模型通常用于评估机器学习鲁棒性。
• 研究简化攻击模型在检测现实世界对抗性恶意软件变体时的局限性。
• 探讨保守特征（即无法更改而不破坏恶意功能的特征）对分类器鲁棒性的影响。
• 确定特征空间模型是否能泛化鲁棒性以应对多种实际可实现的攻击，而非仅针对单一攻击类型进行调优。

提出的方法

• 本研究评估在特征空间对抗性攻击下训练的机器学习分类器，其中扰动幅度受到约束，以模拟逃避尝试。
• 比较了两类恶意软件检测器的性能：基于结构的检测器（分析PDF文件结构）和基于内容的检测器（分析文件内容）。
• 该方法在特征空间中引入了保守特征，定义为必须保持不变以维持恶意行为的属性。
• 在多种实际可实现的攻击下评估鲁棒性，包括通过修改文件结构或内容以逃避检测的方式。
• 采用具有特征空间约束的对抗性训练方法以提升泛化能力，并测试对未见过的攻击变体的鲁棒性。

实验结果

研究问题

• RQ1 特征空间对抗性模型在抵御实际恶意软件中的可实现逃避攻击方面有多有效？
• RQ2 引入保守特征是否能提升机器学习分类器对现实世界对抗性修改的鲁棒性？
• RQ3 在简化攻击下训练的特征空间模型能否泛化到多种实际可实现的攻击，还是仅对特定攻击模式有效？
• RQ4 在使用特征空间对抗性训练时，基于结构的和基于内容的恶意软件检测器在逃避攻击方面的脆弱性有何不同？

主要发现

• 特征空间对抗性训练在增强基于结构的PDF恶意软件检测器抵御实际可实现攻击方面效果有限。
• 相同方法在基于内容的恶意软件检测器中更为有效，尤其是当引入保守特征后。
• 在特征空间中引入保守特征可通过防止攻击者自由修改关键属性而不破坏功能，从而提升分类器的鲁棒性。
• 在简化攻击下训练的特征空间模型相比仅针对单一攻击类型调优的分类器，能更好地泛化到多种实际可实现攻击。
• 使用保守特征可实现一种广义鲁棒性，使分类器对更广泛的逃避技术具有抗性。