[论文解读] Improving Robustness of ML Classifiers against Realizable Evasion Attacks Using Conserved Features

Liang Tong, Bo Li+4 more|arXiv (Cornell University)|Aug 28, 2017

Advanced Malware Detection Techniques参考文献 40被引用 19

一句话总结

本文通过识别并强制执行无法被修改而不破坏恶意功能的保守特征——即无法被篡改的特征——来增强机器学习分类器在PDF恶意软件检测中对可实现的规避攻击的鲁棒性。通过将这些特征整合到对抗性训练中，该方法在多种可实现攻击中实现了强大的泛化能力，优于针对特定攻击的防御方法，且在以往特征空间方法失效的基于结构的检测器中也表现出色。

ABSTRACT

Machine learning (ML) techniques are increasingly common in security applications, such as malware and intrusion detection. However, ML models are often susceptible to evasion attacks, in which an adversary makes changes to the input (such as malware) in order to avoid being detected. A conventional approach to evaluate ML robustness to such attacks, as well as to design robust ML, is by considering simplified feature-space models of attacks, where the attacker changes ML features directly to effect evasion, while minimizing or constraining the magnitude of this change. We investigate the effectiveness of this approach to designing robust ML in the face of attacks that can be realized in actual malware (realizable attacks). We demonstrate that in the context of structure-based PDF malware detection, such techniques appear to have limited effectiveness, but they are effective with content-based detectors. In either case, we show that augmenting the feature space models with conserved features (those that cannot be unilaterally modified without compromising malicious functionality) significantly improves performance. Finally, we show that feature space models enable generalized robustness when faced with a variety of realizable attacks, as compared to classifiers which are tuned to be robust to a specific realizable attack.

研究动机与目标

• 评估特征空间对抗性训练在防御PDF恶意软件检测中可实现规避攻击的有效性。
• 通过一种新颖的算法方法，识别保守特征——即若被修改将破坏恶意功能的特征。
• 证明在对抗性训练中强制执行保守特征可显著提升鲁棒性，尤其在传统方法失效的基于结构的检测器中表现突出。
• 探究通过特征空间模型获得的鲁棒性是否能泛化至多种不同的可实现攻击。
• 证明基于保守特征的防御即使在针对其设计的规避攻击下依然有效。

提出的方法

• 提出一种前向消除算法，通过评估文件间特征的一致性和依赖性，计算多个恶意PDF种子间的统一保守特征集。
• 通过分析PDF中的结构路径识别保守特征：若移除某条路径会破坏恶意功能，则判定其为保守特征。
• 通过相应地转换或映射特征，将保守特征集应用于多种分类器（SL2013、Hidost、PDFRate-B）。
• 通过在扰动过程中保持保守特征不变，将保守特征集成到对抗性训练中，以保留恶意意图。
• 使用参数化阈值β（设为3）平衡特征选择，优先选择在多个种子中一致保守的特征。
• 利用二值特征检测内容型检测器（如PDFRate-B）中的保守特征，通过生成修改后的变体并观察特征值变化。

实验结果

研究问题

• RQ1 特征空间对抗性训练能否有效防御PDF恶意软件检测中的可实现规避攻击？
• RQ2 为何特征空间方法在基于结构的检测器（如SL2013和Hidost）中失败，尽管其在内容型检测中取得成功？
• RQ3 如何自动识别并利用对恶意功能至关重要的保守特征以提升鲁棒性？
• RQ4 通过特征空间模型结合保守特征获得的鲁棒性是否能泛化至多种不同的可实现攻击？
• RQ5 基于保守特征的防御是否能在专门设计用于绕过它们的攻击下依然保持鲁棒？

主要发现

• 使用特征空间模型进行对抗性微调，对基于结构的PDF恶意软件检测器（如SL2013和Hidost）无法提供足够的鲁棒性，尽管在内容型检测中表现良好。
• 相比之下，通过在对抗性训练中强制执行保守特征，可在基于结构的检测器中实现强大的鲁棒性，证明了该方法在标准方法失效时的有效性。
• 所提出的在对抗性训练中强制执行保守特征的方法具有良好的泛化能力：通过特征空间攻击加固的模型在多种不同的可实现攻击中仍保持鲁棒。
• 即使可实现攻击被专门设计用于绕过保守特征，经保守特征训练的模型仍保持高度鲁棒性，表明其对复杂规避策略具有抗性。
• 使用l1正则化的稀疏模型与保守特征的重叠极小——SL2013中仅12个保守特征中的3个被选中，PDFRate-B中仅1个被选中，凸显了标准稀疏性方法在识别关键特征方面的局限性。
• 统一的保守特征集使用β=3计算，平衡了种子间的特征一致性并确保恶意功能的保留。