[论文解读] Detection of Adversarial Training Examples in Poisoning Attacks through Anomaly Detection

Andrea Paudice, Luis Muñoz-González+2 more|arXiv (Cornell University)|Feb 8, 2018

Anomaly Detection Techniques and Applications参考文献 28被引用 112

一句话总结

该论文提出在经过预过滤的训练集上使用异常值检测来检测线性分类器中的对抗性投毒样本，并评估其对抗最优投毒攻击的有效性。

ABSTRACT

Machine learning has become an important component for many systems and applications including computer vision, spam filtering, malware and network intrusion detection, among others. Despite the capabilities of machine learning algorithms to extract valuable information from data and produce accurate predictions, it has been shown that these algorithms are vulnerable to attacks. Data poisoning is one of the most relevant security threats against machine learning systems, where attackers can subvert the learning process by injecting malicious samples in the training data. Recent work in adversarial machine learning has shown that the so-called optimal attack strategies can successfully poison linear classifiers, degrading the performance of the system dramatically after compromising a small fraction of the training dataset. In this paper we propose a defence mechanism to mitigate the effect of these optimal poisoning attacks based on outlier detection. We show empirically that the adversarial examples generated by these attack strategies are quite different from genuine points, as no detectability constrains are considered to craft the attack. Hence, they can be detected with an appropriate pre-filtering of the training dataset.

研究动机与目标

• 动机：在机器学习系统中数据投毒的威胁及其对性能的影响。
• 提出一种防御，通过在整个训练流程中使用异常值检测来检测对抗性投毒点。
• 提供一种计算效率高、与算法无关的缓解策略，无需事先知道投毒比例。
• 在合成数据和真实数据集上评估该方法，包括高维情景，并与最优和受限攻击进行比较。

提出的方法

• 将投毒表述为一个双层优化问题，其中攻击者优化投毒点以最大化验证目标。
• 给出针对Lasso-like线性分类器的最优投毒攻击，使用显式梯度更新和通过KKT条件的隐式微分。
• 提出一种防御，在一个小的受信任子集上应用基于距离的异常值检测，以在重新训练前识别并过滤投毒点。
• 使用一个两类异常值检测器，具有类别特定阈值，以决定在重新训练期间删除哪些样本。
• 讨论现实中的考虑因素，如维度灾难以及需要可信数据来训练检测器的需求。

实验结果

研究问题

• RQ1 基于距离的异常值检测是否能够在投毒攻击下有效识别注入训练数据集的对抗性训练样本？
• RQ2 在不同数据情形（如样本量少、特征数量高）下，提出的预过滤方法对线性分类器的最优投毒策略的影响有多大？

主要发现

• 异常值检测通过对对抗性训练点进行预过滤，能够降低最优投毒策略对线性分类器的影响。
• 该防御在计算上高效，并且不需要事先知道投毒比例。
• 与最优投毒策略相比，提出的异常值检测在检测标签翻转型攻击方面更为困难。
• 当训练点数量与特征数相当时，该方法仍然有效。
• 该防御对底层学习算法是不可知的，适用于大规模数据集。