[论文解读] Butterfly Effect: Bidirectional Control of Classification Performance by Small Additive Perturbation

Young Joon Yoo, Seonguk Park+3 more|arXiv (Cornell University)|Nov 27, 2017

Adversarial Robustness in Machine Learning参考文献 44被引用 3

一句话总结

本文提出了一种新颖的扰动生成网络（PGN），采用类似对抗生成网络（GAN）的极小极大框架，生成小的加法扰动，可在不修改分类器权重的情况下增强或降低分类性能。该方法实现了双向控制——在未获知目标网络架构的情况下，既能提升干净数据上的分类准确率，又能生成通用对抗样本，首次在深度学习中展示了性能增强型扰动的可行性。

ABSTRACT

This paper proposes a new algorithm for controlling classification results by generating a small additive perturbation without changing the classifier network. Our work is inspired by existing works generating adversarial perturbation that worsens classification performance. In contrast to the existing methods, our work aims to generate perturbations that can enhance overall classification performance. To solve this performance enhancement problem, we newly propose a perturbation generation network (PGN) influenced by the adversarial learning strategy. In our problem, the information in a large external dataset is summarized by a small additive perturbation, which helps to improve the performance of the classifier trained with the target dataset. In addition to this performance enhancement problem, we show that the proposed PGN can be adopted to solve the classical adversarial problem without utilizing the information on the target classifier. The mentioned characteristics of our method are verified through extensive experiments on publicly available visual datasets.

研究动机与目标

• 探究小的加法扰动是否能够提升而非降低预训练深度神经网络的分类性能。
• 开发一种统一框架，无需访问目标分类器的网络架构，即可生成用于性能增强和对抗攻击的扰动。
• 证明可在不依赖目标网络梯度或结构的前提下生成扰动，从而实现通用对抗攻击。

提出的方法

• 提出一种扰动生成网络（PGN），包含生成器与判别器，通过极小极大博弈进行训练，以生成小的加法扰动。
• 生成器学习生成能够引导分类器输出朝向期望性能结果的扰动——即提升准确率或导致误分类。
• 判别器评估扰动输入是否导致目标性能结果，为生成器提供反馈。
• 采用结合对抗损失与ℓ1正则化的损失函数，以控制扰动幅度并确保扰动微小且不可察觉。
• 使用相同的训练设置，将该框架应用于性能增强与对抗攻击任务。
• 引入一个伽马参数（gamma）以平衡扰动强度与性能变化之间的权衡，实现可控优化。

实验结果

研究问题

• RQ1 能否设计出小的加法扰动，使其提升而非降低预训练深度神经网络的分类准确率？
• RQ2 是否可能在不了解目标网络架构的前提下，生成对多种输入和模型均能降低性能的通用扰动？
• RQ3 能否通过单一统一框架，利用相同的训练机制生成兼具性能增强与对抗攻击效果的扰动？
• RQ4 扰动幅度如何影响性能增益与图像失真之间的权衡？
• RQ5 ℓ1正则化在对抗训练过程中控制扰动强度方面起到何种作用？

主要发现

• 在ImageNet-10上，使用ResNet50生成对抗扰动时，该方法实现了高达53.8%的准确率下降，证明了其强大的攻击能力。
• 在STL-10数据集上，该方法使ResNet50的分类准确率最高提升12.4%，DenseNet169最高提升14.8%，显示出显著的性能增强效果。
• 该方法在未访问目标分类器架构的情况下成功生成了通用对抗扰动，在此设置下优于现有方法。
• 随着伽马值（γ）的提高，扰动强度增加，γ=3时在保持图像质量的同时实现了强烈的对抗效果。
• ℓ1正则化项在对抗训练过程中对控制扰动幅度至关重要，若省略该项，将导致不稳定且过大的扰动。
• 在对抗设置中，判别器损失收敛更快，原因在于初始正样本比例较高（即被正确误分类的图像）。