[论文解读] Attacking and Defending Machine Learning Applications of Public Cloud

Dou Goodman, Xin Hao|arXiv (Cornell University)|Jul 27, 2020

Adversarial Robustness in Machine Learning参考文献 52被引用 6

一句话总结

本文提出了一种机器学习安全开发生命周期（SDL for ML），以防御诸如 Google Cloud Vision API 等 MLaaS 平台免受对抗性攻击与空间攻击。该研究提出 FFL-PGD 攻击，仅需一到两次查询即可实现高成功率，并表明模型在常见噪声干扰下依然脆弱——凸显了在云机器学习流水线中进行鲁棒性测试与对抗检测的必要性。

ABSTRACT

Adversarial attack breaks the boundaries of traditional security defense. For adversarial attack and the characteristics of cloud services, we propose Security Development Lifecycle for Machine Learning applications, e.g., SDL for ML. The SDL for ML helps developers build more secure software by reducing the number and severity of vulnerabilities in ML-as-a-service, while reducing development cost.

研究动机与目标

• 为应对公开云机器学习服务（如 Google Cloud Vision API）日益增长的对抗性与空间攻击威胁。
• 在仅具备黑盒访问权限且缺乏模型透明度的情况下，识别机器学习即服务（MLaaS）平台中的关键漏洞。
• 开发一个全面且实用的安全开发生命周期（SDL for ML），集成威胁建模、鲁棒性测试与对抗检测。
• 证明即使仅限查询访问，攻击者仍可利用可迁移的对抗性样本绕过防御机制。
• 提供开源工具以支持鲁棒性评估与对抗检测，提升生产环境中模型的安全性。

提出的方法

• 提出 FFL-PGD 攻击：利用极少数查询训练的影子模型，近似目标模型的决策边界，生成高可迁移性的对抗性样本。
• 采用新颖的损失函数，最小化原始图像与对抗性图像之间的低层次特征差异，提升不可察觉性与攻击成功率。
• 通过 13 种类型的图像畸变（如噪声、模糊、旋转、天气效应等）实施黑盒鲁棒性测试，结合 PSNR 与 SSIM 约束评估准确率。
• 使用基于深度神经网络的二分类器作为检测器，基于输入分布的统计差异区分干净输入与对抗性输入。
• 将对抗训练与检测机制整合进完整的 SDL for ML 框架中，支持本地模型与云 API 两种部署方式。
• 提供开源工具（如 perceptron-benchmark），自动化执行多种扰动类型与阈值下的鲁棒性评估。

实验结果

研究问题

• RQ1 仅通过黑盒 API 访问与极少查询次数，是否能有效针对基于云的机器学习服务实施对抗性攻击？
• RQ2 公开云机器学习模型对常见图像畸变（如噪声、模糊与天气效应）的脆弱性如何？这些畸变对模型准确率有何影响？
• RQ3 尽管存在架构与参数的隐蔽性，通过迁移学习生成的对抗性样本在多大程度上可绕过真实世界中的云机器学习服务？
• RQ4 基于统计特征的深度学习检测器能否仅凭统计差异可靠地区分对抗性输入与干净输入？
• RQ5 如何设计一种标准化、可扩展的安全开发生命周期（SDL for ML），以整合鲁棒性测试、对抗性缓解与检测机制于机器学习应用开发流程中？

主要发现

• FFL-PGD 攻击在仅 1–2 次查询下即实现 95.5% 的成功率，证明即使访问极小，仍可绕过云机器学习防御机制。
• 在常见畸变下，InceptionV3 模型在高斯模糊下的 top-1 准确率降至 20%，在旋转下的准确率降至 30%，表明其对空间与噪声扰动具有严重脆弱性。
• 模糊与噪声攻击的成功率较高（如高斯模糊达 80%），且 PSNR 值超过 20，表明攻击对人类而言仍不可察觉。
• 在 135° 与 -135° 旋转下，模型表现出显著脆弱性，攻击成功率接近 70%，揭示其存在方向性弱点。
• 基于深度神经网络的检测器展现出良好前景，能够通过细微的统计偏差有效识别对抗性输入。
• 鲁棒性测试表明，模型对空间与噪声畸变的鲁棒性远低于对标准图像变换的鲁棒性，暴露出当前机器学习安全体系中的关键缺陷。