[论文解读] Manipulating Machine Learning: Poisoning Attacks and Countermeasures for Regression Learning

Matthew Jagielski, Alina Oprea+4 more|arXiv (Cornell University)|Apr 1, 2018

Adversarial Robustness in Machine Learning参考文献 38被引用 113

一句话总结

本文开创了对线性回归的投毒攻击，提出了一种基于优化的攻击和一种快速统计攻击，并引入具有收敛保证且对均方误差影响更小的鲁棒防御 TRIM。

ABSTRACT

As machine learning becomes widely used for automated decisions, attackers have strong incentives to manipulate the results and models generated by machine learning algorithms. In this paper, we perform the first systematic study of poisoning attacks and their countermeasures for linear regression models. In poisoning attacks, attackers deliberately influence the training data to manipulate the results of a predictive model. We propose a theoretically-grounded optimization framework specifically designed for linear regression and demonstrate its effectiveness on a range of datasets and models. We also introduce a fast statistical attack that requires limited knowledge of the training process. Finally, we design a new principled defense method that is highly resilient against all poisoning attacks. We provide formal guarantees about its convergence and an upper bound on the effect of poisoning attacks when the defense is deployed. We evaluate extensively our attacks and defenses on three realistic datasets from health care, loan assessment, and real estate domains.

研究动机与目标

• 在白盒和黑盒设置下引入并形式化线性回归的投毒攻击。
• 开发面向回归的基于优化的投毒框架，并扩展以同时优化特征和响应。
• 提出一种快速统计投毒攻击，所需的训练过程知识有限。
• 设计一个有理论依据的防御（TRIM），具备收敛保证和对投毒影响的可证明界限。
• 在多种回归模型和真实世界数据集上评估攻击与防御。

提出的方法

• 将基线投毒攻击从分类任务移植到回归任务，并通过对投毒特征和响应的联合优化进行扩展。
• 将投毒表述为一个双层优化问题，内部训练目标和外部投毒目标。
• 通过内部凸优化的 KKT 条件计算梯度以更新投毒点。
• 引入一种快速统计攻击（StatP），从训练分布采样并使用边界舍入来最大化损失，只需黑箱访问。
• 提出 TRIM，一种使用截尾损失的鲁棒回归方法，通过迭代地修剪高残差点来学习鲁棒模型。
• 为 TRIM 提供收敛保证以及在投毒下的均方误差上界。

实验结果

研究问题

• RQ1 在不同正则化方案（OLS、Ridge、LASSO、Elastic Net）下，投毒攻击如何影响线性回归模型？
• RQ2 在有限的攻击者知识条件下（包括黑箱情形），投毒是否能被有效执行？
• RQ3 哪些防御机制能够对回归中的广义投毒攻击提供鲁棒性，以及它们的理论保证是什么？
• RQ4 基于优化的与统计的投毒方法在有效性与效率方面如何比较？
• RQ5 在医疗、信贷和房地产等真实世界领域的回归任务中，投毒的经验性影响如何？

主要发现

• 基于优化的投毒攻击在多种回归模型和数据集上显著增加测试集均方误差，相比现有工作。
• 在报道的案例中，攻击可将 MSE 放大到很大的倍数（例如相对于基线高达 6.83×，相对于未投毒模型高达 155.7×）。
• 所提出的 TRIM 防御在鲁棒统计方法（Huber、RANSAC）和其他对抗防御中表现更佳，在攻击、模型和数据集上中位数 MSE 增加仅为 6.1%。
• TRIM 提供收敛保证和对投毒影响的上界，展示出对广泛攻击类别的强鲁棒性。
• StatP 攻击虽然更快且所需信息更少，但仍然有效，且通过从数据分布采样并使用边界舍入以实现黑箱访问。
• 与 Xiao 等人基线相比，基于优化的攻击在投毒有效性方面显示出显著提升。