[论文解读] Against All Odds: Winning the Defense Challenge in an Evasion Competition with Diversification

Erwin Quiring, Lukas Pirch+3 more|arXiv (Cornell University)|Oct 19, 2020

Adversarial Robustness in Machine Learning被引用 8

一句话总结

本文提出 PEberus，这是在微软混淆攻击竞赛中获胜的防御方案，通过多样化、多层防御机制，有效抵御针对 Windows PE 恶意软件检测的混淆攻击。通过结合语义鸿沟缓解、使用不同特征集的集成分类，以及针对迭代攻击的状态化检测机制，PEberus 在有效应对真实世界混淆尝试的同时，凸显了在基于机器学习的安全系统中进行对抗性加固的重要性，最终获得第一名。

ABSTRACT

Machine learning-based systems for malware detection operate in a hostile environment. Consequently, adversaries will also target the learning system and use evasion attacks to bypass the detection of malware. In this paper, we outline our learning-based system PEberus that got the first place in the defender challenge of the Microsoft Evasion Competition, resisting a variety of attacks from independent attackers. Our system combines multiple, diverse defenses: we address the semantic gap, use various classification models, and apply a stateful defense. This competition gives us the unique opportunity to examine evasion attacks under a realistic scenario. It also highlights that existing machine learning methods can be hardened against attacks by thoroughly analyzing the attack surface and implementing concepts from adversarial learning. Our defense can serve as an additional baseline in the future to strengthen the research on secure learning.

研究动机与目标

• 解决基于机器学习的恶意软件检测器在真实场景中对混淆攻击的脆弱性。
• 克服 PE 程序语义与特征表示之间的语义鸿沟，该鸿沟使得功能保持不变的简单混淆攻击成为可能。
• 在黑盒环境下，针对独立攻击者发起的针对性混淆尝试，开发一种具有鲁棒性的防御系统。
• 证明通过模型、特征和运行时检测的多样化设计，可显著提升对混淆攻击的鲁棒性。
• 为未来对抗性机器学习在恶意软件检测领域的研究，建立一个公开可获取、生产环境加固的防御基线。

提出的方法

• 应用多种多样化启发式方法，弥合 PE 程序行为与静态特征表示之间的语义鸿沟。
• 采用基于梯度提升决策树（GBDT）的集成模型，使用互不重叠的独立特征集，以降低模型特异性漏洞。
• 实现一种状态化防御机制，用于监控并检测针对分类器的迭代式 API 混淆攻击。
• 设计系统以满足严格的性能约束：误报率低于 1%，真正例率不低于 90%，决策时间在 5 秒内完成。
• 集成预处理加固机制，以抵御针对特征提取和表示阶段的攻击。
• 在评估过程中采用黑盒 API 访问模型，确保防御机制在不暴露内部模型结构的情况下依然有效。

实验结果

研究问题

• RQ1 如何在不暴露模型内部结构的前提下，提升基于机器学习的恶意软件检测器对真实世界混淆攻击的抗性？
• RQ2 在特征集和分类模型之间实施多样化，能在多大程度上提升对混淆攻击的鲁棒性？
• RQ3 状态化检测机制是否能有效识别并阻止针对分类器的迭代式混淆攻击？
• RQ4 PE 文件表示中的语义鸿沟在多大程度上导致了混淆攻击的产生？该问题应如何缓解？
• RQ5 一个防御系统是否能在真实竞赛环境中实现高鲁棒性与高性能，同时保持公开可验证性和可复用性？

主要发现

• PEberus 在微软混淆攻击竞赛的防守者挑战中获得第一名，成功抵御了来自独立攻击者的多种复杂混淆攻击。
• 由于采用了多样化模型和特征集，该防御机制对利用模型特异性漏洞的混淆攻击表现出显著韧性。
• 状态化防御机制成功检测并阻止了通过黑盒 API 多次探测分类器的迭代攻击。
• 尽管防御强度高，仍有一些基于代码混淆的攻击成功绕过检测，凸显了静态分析在检测语义混淆方面的局限性。
• 即使在加固系统中，PE 语义与特征表示之间的语义鸿沟仍是关键攻击面。
• 该防御系统已公开发布于 GitHub，为未来对抗性机器学习在恶意软件检测领域的研究提供了可复用、生产环境加固的基线。