[论文解读] Trust but Verify: An Information-Theoretic Explanation for the Adversarial Fragility of Machine Learning Systems, and a General Defense against Adversarial Attacks

Jirong Yi, Hui Xie+4 more|arXiv (Cornell University)|May 25, 2019

Adversarial Robustness in Machine Learning参考文献 61被引用 4

一句话总结

本文提出了一种基于信息论的解释，说明机器学习中对抗脆弱性的成因，将其归因于分类器中的特征压缩。文章引入了两种通用防御方法——像素预测检测和基于生成模型的检测，利用重建误差来检测对抗性输入，在多个数据集上实现了超过95%的检测准确率，某些情况下达到100%。

ABSTRACT

Deep-learning based classification algorithms have been shown to be susceptible to adversarial attacks: minor changes to the input of classifiers can dramatically change their outputs, while being imperceptible to humans. In this paper, we present a simple hypothesis about a feature compression property of artificial intelligence (AI) classifiers and present theoretical arguments to show that this hypothesis successfully accounts for the observed fragility of AI classifiers to small adversarial perturbations. Drawing on ideas from information and coding theory, we propose a general class of defenses for detecting classifier errors caused by abnormally small input perturbations. We further show theoretical guarantees for the performance of this detection method. We present experimental results with (a) a voice recognition system, and (b) a digit recognition system using the MNIST database, to demonstrate the effectiveness of the proposed defense methods. The ideas in this paper are motivated by a simple analogy between AI classifiers and the standard Shannon model of a communication system.

研究动机与目标

• 使用信息理论解释为何深度学习分类器对微小的对抗性扰动如此脆弱。
• 解决人工智能系统中对抗脆弱性缺乏统一理论解释的问题。
• 开发一种不依赖对抗训练或梯度掩蔽的通用、系统化的对抗攻击防御机制。
• 在真实世界系统（如语音和图像分类器）上验证所提出的检测方法。
• 在多种对抗攻击类型下，展示检测框架的理论与实证鲁棒性。

提出的方法

• 提出特征压缩假说：人工智能分类器将高维输入映射到低维表示，从而对微小输入扰动变得敏感。
• 引入像素预测检测（PPD）方法，通过训练神经网络重建输入像素，并使用重建误差作为异常评分。
• 采用基于生成模型的检测（OGD）方法，利用类似GAN的框架优化输入重建，使用重建误差检测对抗样本。
• 使用正则化参数λ控制重建保真度，选择λ=100以最大化良性与对抗样本MSE之间的差距。
• 采用基于阈值的检测方法：若重建MSE超过学习到的阈值τ，则将样本标记为对抗性。
• 使用检测性能的统计评估，通过检测准确率、误报率和漏报率等指标，在多个类别和生成器之间进行评估。

实验结果

研究问题

• RQ1 为何深度学习分类器对微小且难以察觉的对抗性扰动如此脆弱？
• RQ2 能否通过信息理论正式关联人工智能分类器中的特征压缩与对抗脆弱性？
• RQ3 能否设计一种不依赖对抗训练或梯度掩蔽的通用防御机制？
• RQ4 基于重建的异常检测在不同输入模态下识别对抗样本的效率如何？
• RQ5 能否利用生成模型基于重建误差可靠地区分良性与对抗样本？

主要发现

• 所提出的特征压缩假说将对抗脆弱性解释为分类器中降维不可避免的后果。
• 像素预测检测（PPD）方法在不同MNIST数字类别上的检测准确率最低为80%，最高达95%。
• 基于生成模型的检测（OGD）方法在所有测试类别上均实现超过95%的检测准确率，部分情况下良性与对抗样本的检测准确率均达到100%。
• 对于DCGAN-based检测，所有类别中的误报率均低于5%，部分类别的最低误报率为0.00%。
• 所有生成器的对抗样本漏报率均低于5%，部分生成器达到0.00%的漏报率。
• 在正则化参数λ=100时，良性与对抗样本的MSE差距显著增大，实现了重建误差分布的稳健分离。