[论文解读] Adversarial Robustness with Non-uniform Perturbations

Ecenaz Erdemir, Jeffrey Bickford+2 more|arXiv (Cornell University)|Feb 24, 2021

Adversarial Robustness in Machine Learning参考文献 42被引用 4

一句话总结

本文提出了一种非均匀扰动的对抗训练方法，考虑了现实应用中特征相关性和重要性，如恶意软件检测、信用风险评估和垃圾邮件过滤。通过使用变换矩阵 Ω 定义非均匀 ℓp-范数约束，该方法在面对真实攻击时显著提升了鲁棒性，相较于均匀扰动，在强攻击下对垃圾邮件检测的防御成功率最高可达 94.5%。

ABSTRACT

Robustness of machine learning models is critical for security related applications, where real-world adversaries are uniquely focused on evading neural network based detectors. Prior work mainly focus on crafting adversarial examples (AEs) with small uniform norm-bounded perturbations across features to maintain the requirement of imperceptibility. However, uniform perturbations do not result in realistic AEs in domains such as malware, finance, and social networks. For these types of applications, features typically have some semantically meaningful dependencies. The key idea of our proposed approach is to enable non-uniform perturbations that can adequately represent these feature dependencies during adversarial training. We propose using characteristics of the empirical data distribution, both on correlations between the features and the importance of the features themselves. Using experimental datasets for malware classification, credit risk prediction, and spam detection, we show that our approach is more robust to real-world attacks. Finally, we present robustness certification utilizing non-uniform perturbation bounds, and show that non-uniform bounds achieve better certification.

研究动机与目标

• 解决在存在特征依赖性和语义约束的真实安全应用中，均匀范数有界扰动的局限性。
• 通过建模现实的扰动约束，提升恶意软件检测、信用风险预测和垃圾邮件检测等领域的对抗鲁棒性。
• 开发一种针对非均匀扰动的认证框架，提供强于均匀边界的理论保证。
• 证明非均匀对抗训练在标准均匀攻击下具有更好的泛化能力，从而增强实际鲁棒性。

提出的方法

• 引入变换后的扰动约束 ||Ωδ||_p ≤ ε，其中 Ω 编码了特征相关性、重要性及领域知识。
• 利用马氏距离（MD）、SHAP 值和皮尔逊相关系数构建 Ω，以反映数据分布特性。
• 应用具有非均匀约束的对抗训练，优化模型以在现实扰动模式下保持鲁棒性。
• 提出一种混合防御方法（Combo），同时施加非均匀和均匀范数约束，以平衡鲁棒性与泛化能力。
• 通过非均匀扰动边界实现鲁棒性认证，支持在结构化扰动下的理论保证。
• 在真实世界数据集上验证该方法在恶意软件、信用风险和垃圾邮件检测任务中的有效性，采用 PGD 攻击和防御成功率进行评估。

实验结果

研究问题

• RQ1 能否通过反映现实世界特征依赖性的非均匀扰动，提升安全关键应用中的对抗鲁棒性？
• RQ2 在真实攻击下，具有非均匀约束的对抗训练与标准均匀范数有界训练相比表现如何？
• RQ3 非均匀扰动边界是否能提供强于均匀边界的更强鲁棒性认证？
• RQ4 所提出的方法是否能泛化到标准均匀攻击，表明其更广泛的实际适用性？
• RQ5 特征重要性和相关性在构建有效非均匀扰动约束中起什么作用？

主要发现

• 在垃圾邮件检测数据集中，基于马氏距离的 Ω 的非均匀方法（NU-δ-MD）在 ε=1.5 时达到 94.45% 的防御成功率，优于均匀基线（93.22%）和 Combo 防御（ε=1.5 时为 94.27%）。
• 在恶意软件分类任务中，基于 MD 的非均匀方法在 ε=0.5 时达到 92.6% 的鲁棒准确率，显著优于均匀基线（89.6%）和其他非均匀变体。
• 在信用风险预测任务中，NU-δ-MD 变体在 ε=0.7 时达到 89.4% 的鲁棒准确率，超过均匀基线（87.3%）和其他非均匀配置。
• 在垃圾邮件检测场景中，非均匀防御在所有攻击半径下均优于均匀基线，最大差距出现在 ε=0.7 时（NU-δ-MD 为 87.7%，均匀方法为 86.5%）。
• Combo 防御（结合非均匀与均匀约束）表现出中等性能，证实非均匀部分对提升鲁棒性至关重要。
• 非均匀边界下的鲁棒性认证被证明比均匀边界更紧致、更有效，展示了理论优势。