[论文解读] Intriguing Properties of Adversarial ML Attacks in the Problem Space [Extended Version]

Jacopo Cortellazzi, Feargus Pendlebury+4 more|arXiv (Cornell University)|Nov 5, 2019

Advanced Malware Detection Techniques被引用 5

一句话总结

本文提出了一种针对问题空间对抗性机器学习攻击的正式框架，定义了在Android恶意软件等领域的有效、鲁棒且语义保持的扰动约束。该研究提出了一种新颖且可扩展的攻击方法，通过自动化软件移植技术，在每款应用不到两分钟内即可绕过最先进的恶意软件分类器，展示了大规模‘对抗性恶意软件即服务’的可行性。

ABSTRACT

Recent research efforts on adversarial machine learning (ML) have investigated problem-space attacks, focusing on the generation of real evasive objects in domains where, unlike images, there is no clear inverse mapping to the feature space (e.g., software). However, the design, comparison, and real-world implications of problem-space attacks remain underexplored. This article makes three major contributions. Firstly, we propose a general formalization for adversarial ML evasion attacks in the problem-space, which includes the definition of a comprehensive set of constraints on available transformations, preserved semantics, absent artifacts, and plausibility. We shed light on the relationship between feature space and problem space, and we introduce the concept of side-effect features as the by-product of the inverse feature-mapping problem. This enables us to define and prove necessary and sufficient conditions for the existence of problem-space attacks. Secondly, building on our general formalization, we propose a novel problem-space attack on Android malware that overcomes past limitations in terms of semantics and artifacts. We have tested our approach on a dataset with 150K Android apps from 2016 and 2018 which show the practical feasibility of evading a state-of-the-art malware classifier along with its hardened version. Thirdly, we explore the effectiveness of adversarial training as a possible approach to enforce robustness against adversarial samples, evaluating its effectiveness on the considered machine learning models under different scenarios. Our results demonstrate that "adversarial-malware as a service" is a realistic threat, as we automatically generate thousands of realistic and inconspicuous adversarial applications at scale, where on average it takes only a few minutes to generate an adversarial instance.

研究动机与目标

• 对问题空间对抗性攻击进行形式化，明确转换、语义、预处理鲁棒性以及输出对象可信度的约束。
• 通过‘副作用特征’的概念，识别并定义此类攻击存在的必要与充分条件。
• 通过一种系统化、可扩展的方法，克服以往恶意软件攻击方法的局限性，如语义违规、预处理脆弱性以及可检测的痕迹。
• 证明可大规模生成数千个真实、隐蔽的对抗性Android应用，使其能够绕过强化的分类器。
• 负责任地发布代码与数据集，以支持未来在问题空间中防御研究。

提出的方法

• 提出问题空间攻击的形式化，包含四项关键约束：可用转换、语义保持、对非机器学习预处理的鲁棒性，以及输出对象的可信度。
• 引入‘副作用特征’的概念——由问题空间转换引发的非预期特征变化——以建立特征空间与问题空间之间的联系。
• 基于特征扰动与转换可行性之间的相互作用，定义问题空间攻击存在的必要与充分条件。
• 开发一种针对Android恶意软件的新攻击方法，利用自动化软件移植技术生成语义保持、可信且鲁棒的对抗性变体。
• 采用混淆谓词以保持动态语义，并抵抗静态程序分析，避免出现如空操作或IAT修补等可检测痕迹。
• 在17万款Android应用的数据集（2017–2018年）上验证该攻击，评估其对DREBIN分类器标准版与强化版的规避能力。

实验结果

研究问题

• RQ1 在现实世界领域（如恶意软件）中，定义有效的问题空间对抗性攻击所需的必要与充分形式化约束是什么？
• RQ2 副作用特征如何从问题空间转换中产生？其在连接特征空间与问题空间中起到什么作用？
• RQ3 为何现有恶意软件中的问题空间攻击（如依赖清单修改或IAT修补）无法实现鲁棒性与可扩展性？
• RQ4 能否利用自动化软件移植生成保持语义、可绕过机器学习分类器且能抵抗非机器学习预处理的对抗性恶意软件？
• RQ5 在保持真实感与隐蔽性的同时，对抗性恶意软件在多大程度上可实现规模化生成？

主要发现

• 所提出的正式化方法使先前问题空间攻击的系统性比较成为可能，并揭示了其在语义保持与预处理鲁棒性方面的弱点。
• 副作用特征被证明是逆特征映射的关键副产品，其分析有助于判断问题空间攻击的可行性。
• 所提出的新型攻击在17万款Android应用的数据集上，成功绕过了DREBIN恶意软件分类器的标准版与强化版。
• 平均而言，生成单个对抗性Android应用耗时不足两分钟，证明了其高度可扩展性与实际可行性。
• 该攻击对静态分析具有鲁棒性，且避免了如空操作或IAT修补等可检测痕迹，优于以往方法。
• 作者负责任地发布了代码与数据，以支持未来在问题空间中防御研究。