[论文解读] Curie: A method for protecting SVM Classifier from Poisoning Attack

Ricky Laishram, Vir V. Phoha|arXiv (Cornell University)|Jun 5, 2016

Anomaly Detection Techniques and Applications参考文献 16被引用 37

一句话总结

Curie 是一种轻量级、无监督的方法，通过在特征空间中聚类并识别特征与标签距离异常的数据点，来检测并过滤对抗性污染的数据点，从而保护SVM分类器免受投毒攻击。即使在显著投毒的情况下，该方法仍能保持高准确率和低误报率，且对超参数调优的敏感性极低。

ABSTRACT

Machine learning is used in a number of security related applications such as biometric user authentication, speaker identification etc. A type of causative integrity attack against machine learning called Poisoning attack works by injecting specially crafted data points in the training data so as to increase the false positive rate of the classifier. In the context of the biometric authentication, this means that more intruders will be classified as valid user, and in case of speaker identification system, user A will be classified user B. In this paper, we examine poisoning attack against SVM and introduce - Curie - a method to protect the SVM classifier from the poisoning attack. The basic idea of our method is to identify the poisoned data points injected by the adversary and filter them out. Our method is light weight and can be easily integrated into existing systems. Experimental results show that it works very well in filtering out the poisoned data.

研究动机与目标

• 解决SVM分类器在安全关键应用中易受因果完整性投毒攻击的漏洞。
• 开发一种轻量级、无监督的方法，可轻松集成到现有系统中，通过周期性微调实现。
• 检测并过滤在特征空间中无法区分但标签被翻转的污染数据点。
• 评估该方法在不同投毒水平和多分类设置下的鲁棒性。
• 降低对超参数估计的敏感性，特别是噪声比 ρ，以利于实际部署。

提出的方法

• Curie 在重新训练前对特征空间中的数据点进行聚类，以分组相似实例。
• 计算每个点在其所在簇中与其他点的平均距离，将类别标签视为（特征+标签）空间中的加权特征。
• 将簇内邻近度置信度低于95%的点标记为潜在污染点并从训练中移除。
• 该方法利用了尽管污染点在特征空间中相似，但考虑标签一致性时会表现出异常的特性。
• 作为重新训练前的预处理过滤器应用，使其与周期性或增量学习流水线兼容。
• 通过 MultiClass-Curie 扩展至多分类场景，保持在多类别中的有效性。

实验结果

研究问题

• RQ1 一种轻量级、无监督的方法能否在不预先知晓攻击的情况下检测并过滤SVM分类器中的污染数据点？
• RQ2 Curie 在投毒水平不断提高的情况下，能否有效保持分类器准确率并最小化误报率？
• RQ3 Curie 的性能对真实数据集中噪声比 ρ 估计的敏感性如何？
• RQ4 Curie 能否在保持鲁棒性的前提下扩展至多分类分类场景？
• RQ5 Curie 是否能同时作为对抗逃避攻击和投毒攻击的防御机制？

主要发现

• 即使存在125个污染点（占训练数据的2.78%），Curie 仍将分类器准确率维持在0.96以上，而未受保护的模型准确率下降至0.918。
• 应用Curie后，误报率在投毒情况下保持稳定，表明其有效缓解了完整性攻击。
• Curie 对 ω 和 ρ 的敏感性较低，使其在 ρ 未知的真实世界部署中更具实用性。
• 在多分类实验中，MultiClass-Curie 在投毒水平不断提高时，显著优于基线模型地保持了准确率。
• 该方法有效过滤了在特征空间中与正常数据在视觉和统计上均相似的污染数据点。
• Curie 的无监督特性使其对逃避攻击具有鲁棒性，因为攻击者需同时绕过逃避和投毒攻击。