[论文解读] Foveation-based Mechanisms Alleviate Adversarial Examples

Yan Luo, Xavier Boix+3 more|arXiv (Cornell University)|Nov 19, 2015

Adversarial Robustness in Machine Learning参考文献 13被引用 138

一句话总结

该论文提出基于foveation的机制，通过利用卷积神经网络（CNN）在识别物体周围的局部线性特性，并利用其对物体尺度/平移变化的鲁棒性，来缓解对抗性样本问题。通过仅对聚焦的图像区域（foveated patches）应用CNN，该方法降低了对抗性扰动的影响，即使在对抗性扰动被设计为利用foveation机制时，也能将分类准确率恢复至接近自然水平，且在极小扰动下于ImageNet上实现了30–40%的准确率提升。

ABSTRACT

We show that adversarial examples, i.e., the visually imperceptible perturbations that result in Convolutional Neural Networks (CNNs) fail, can be alleviated with a mechanism based on foveations---applying the CNN in different image regions. To see this, first, we report results in ImageNet that lead to a revision of the hypothesis that adversarial perturbations are a consequence of CNNs acting as a linear classifier: CNNs act locally linearly to changes in the image regions with objects recognized by the CNN, and in other regions the CNN may act non-linearly. Then, we corroborate that when the neural responses are linear, applying the foveation mechanism to the adversarial example tends to significantly reduce the effect of the perturbation. This is because, hypothetically, the CNNs for ImageNet are robust to changes of scale and translation of the object produced by the foveation, but this property does not generalize to transformations of the perturbation. As a result, the accuracy after a foveation is almost the same as the accuracy of the CNN without the adversarial perturbation, even if the adversarial perturbation is calculated taking into account a foveation.

研究动机与目标

• 挑战主流假设，即CNN作为全局线性分类器，该假设被认为可解释对抗性样本的产生。
• 探究foveation——即仅在图像的局部区域进行CNN推理——是否能缓解对抗性扰动。
• 评估CNN对物体变换（尺度、平移）的鲁棒性是否可泛化至对抗性扰动。
• 证明即使对抗性样本是基于foveation机制的知识而精心设计的，foveation仍能恢复分类准确率。
• 提出一种事后、非对抗性训练的防御策略，基于foveation，无需重新训练即可提升鲁棒性。

提出的方法

• 该方法仅对局部图像块（foveated regions）应用预训练的CNN（AlexNet、GoogLeNet、VGG），舍弃图像其余部分。
• foveation区域通过物体裁剪（真实边界框）、显著性图或偏移裁剪来选择，以模拟眼球聚焦。
• 使用BFGS和基于符号的优化方法生成对抗性样本，且扰动的L2范数最小，随后在各种foveation方案下进行测试。
• 将分类得分分解为干净物体和扰动的贡献；foveation将物体隔离，从而降低扰动的影响。
• 该方法假设CNN在识别物体附近的局部区域具有线性特性，由于扰动变换缺乏不变性，因此在foveation后扰动效果减弱。
• 测试了多种foveation策略（如1-shift、嵌入式、基于显著性的策略），以证明对对抗性构造的鲁棒性。

实验结果

研究问题

• RQ1 CNN在识别物体附近的局部行为是否仍保持局部线性，即使其全局行为看似非线性？
• RQ2 foveation机制是否能通过利用CNN对物体尺度和平移的不变性，来降低对抗性扰动的影响？
• RQ3 CNN对物体变换的鲁棒性是否可泛化至对抗性扰动？抑或扰动在foveation下仍具有效性？
• RQ4 是否可采用与生成对抗性样本所用foveation策略不同的策略，仍能恢复分类准确率？
• RQ5 当对抗性样本被设计为对foveation具有鲁棒性时，foveation是否仍有效，从而暗示其具有潜在的防御机制？

主要发现

• 当扰动不可察觉时，foveation在ImageNet上将对抗性样本的准确率下降降低了30–40%，使性能恢复至接近干净图像的准确率水平。
• 对于BFGS生成的扰动，需将范数提高约5倍后才导致误分类，表明具有强鲁棒性。
• 对于基于符号的扰动，范数需提高5至8倍后才导致误分类，进一步证实了该方法的有效性。
• 即使对抗性样本是为利用物体裁剪foveation（MP-Object）而设计的，通过其他foveation策略（如1 Shift、Embedded）仍可实现缓解，准确率最高提升10%。
• 该方法在多个CNN架构（AlexNet、GoogLeNet、VGG）上均有效，表明其具有超越单一模型的泛化能力。
• 使用物体裁剪进行foveation后，AlexNet的top-5准确率达到0.8192，GoogLeNet为0.8939，VGG为0.9122，显著高于在对抗条件下foveation前的0.0048、0.0104和0.0055的准确率。