[论文解读] Deep Probabilistic Models to Detect Data Poisoning Attacks

Mahesh Subedar, Nilesh Ahuja+3 more|arXiv (Cornell University)|Dec 3, 2019

Adversarial Robustness in Machine Learning参考文献 13被引用 6

一句话总结

本文提出了两种基于不确定性的方法，用于检测深度神经网络中的后门数据 poisoning 攻击：(1) 使用参数化分布对深度特征进行概率建模，以估计输入不确定性；(2) 使用均场变分推断的贝叶斯神经网络，以估计模型不确定性。深度特征方法在检测中毒样本时达到极高的 AUPR（最高达 99.96），而贝叶斯网络在使用中毒数据训练时表现不佳，凸显了在基于不确定性的检测中使用干净验证数据的重要性。

ABSTRACT

Data poisoning attacks compromise the integrity of machine-learning models by introducing malicious training samples to influence the results during test time. In this work, we investigate backdoor data poisoning attack on deep neural networks (DNNs) by inserting a backdoor pattern in the training images. The resulting attack will misclassify poisoned test samples while maintaining high accuracies for the clean test-set. We present two approaches for detection of such poisoned samples by quantifying the uncertainty estimates associated with the trained models. In the first approach, we model the outputs of the various layers (deep features) with parametric probability distributions learnt from the clean held-out dataset. At inference, the likelihoods of deep features w.r.t these distributions are calculated to derive uncertainty estimates. In the second approach, we use Bayesian deep neural networks trained with mean-field variational inference to estimate model uncertainty associated with the predictions. The uncertainty estimates from these methods are used to discriminate clean from the poisoned samples.

研究动机与目标

• 解决数据 poisoning 攻击对模型完整性构成威胁，同时不降低干净准确率的问题。
• 开发基于不确定性的检测机制，在推理阶段标记出中毒输入。
• 评估来自深度特征或贝叶斯神经网络的不确定度估计是否能有效区分中毒样本与干净样本。
• 研究在不同 poisoning 率和数据集特性下，不确定度估计的鲁棒性。

提出的方法

• 在干净的保留验证数据中提取的深度特征上拟合参数化概率分布（如正态分布），以建模特征空间分布。
• 在推理阶段，计算测试样本特征相对于拟合分布的对数似然得分；低分表示异常可能性较高。
• 使用均场变分推断训练贝叶斯神经网络，以近似网络权重的后验分布。
• 通过 BALD（基于分歧的贝叶斯主动学习）估计模型不确定性，该方法量化权重后验与预测分布之间的互信息。
• 将不确定度得分用作判别信号：中毒样本的不确定度更高，干净样本的不确定度更低。
• 在干净样本与中毒样本之间的二分类设置下，通过 AUPR 评估检测性能。

实验结果

研究问题

• RQ1 从深度特征分布中推导出的不确定度估计是否能有效检测 DNN 中的后门 poisoning 输入？
• RQ2 贝叶斯神经网络的模型不确定度与特征层面的不确定度相比，在检测数据 poisoning 攻击方面表现如何？
• RQ3 随着训练数据中 poisoning 率的增加，基于不确定度的检测性能是否会下降？
• RQ4 在 poisoned 数据上训练的模型是否仍能产生可靠的不确定度估计以用于 poisoning 检测？
• RQ5 特征层面与模型层面不确定度的结合是否比单独使用任一方法更有效？

主要发现

• DeepFeatures（DF）方法在 MNIST 上检测中毒样本时 AUPR 最高达 99.96，在 CIFAR-10 上达 91.87，显著优于确定性 DNN。
• 在 MNIST 上，DF 方法在 50% poisoning 率下将中毒样本的分类准确率降低至最低 7.32%，表明其具备强大的检测能力。
• 在 poisoned 数据上训练的贝叶斯神经网络（BNNs）在干净集和中毒集上的准确率均保持在 90% 以上，表明其检测性能差，原因在于模型拟合了中毒分布。
• BNNs 在低 poisoning 率下表现更优（例如在 MNIST 上 10% poisoning 率时 AUPR 达 97.47%），但随着 poisoning 率增加，性能下降。
• 由于 DF 方法仅使用干净数据拟合特征分布，因此在不同 poisoning 率下均保持稳健，为异常检测提供了稳定的基准。
• 结果表明，基于干净数据锚定的特征建模所得到的不确定度估计，比基于在 poisoned 数据上训练的模型所得到的估计更有效，强调了在检测中使用干净验证数据的必要性。