[论文解读] Comment on "Biologically inspired protection of deep networks from adversarial attacks"

Wieland Brendel, Matthias Bethge|arXiv (Cornell University)|Apr 5, 2017

Adversarial Robustness in Machine Learning参考文献 2被引用 24

一句话总结

本文挑战了高饱和度深度神经网络在梯度攻击下具有内在鲁棒性的说法。研究证明，看似稳健的特性实则源于梯度计算中的数值不稳定性，而非真正的抗性；通过一种简单的梯度稳定化技术，可在这些网络上恢复成功的对抗性攻击。

ABSTRACT

A recent paper suggests that Deep Neural Networks can be protected from gradient-based adversarial perturbations by driving the network activations into a highly saturated regime. Here we analyse such saturated networks and show that the attacks fail due to numerical limitations in the gradient computations. A simple stabilisation of the gradient estimates enables successful and efficient attacks. Thus, it has yet to be shown that the robustness observed in highly saturated networks is not simply due to numerical limitations.

研究动机与目标

• 调查高度饱和的深度神经网络是否真正对基于梯度的对抗攻击具有鲁棒性。
• 检验先前研究中观察到的鲁棒性是否源于梯度计算中的数值限制。
• 开发并测试一种稳定的梯度估计方法，以成功攻击饱和网络。
• 强调在对抗机器学习评估中，将数值不稳定性与真实鲁棒性混淆所带来的风险。

提出的方法

• 训练一个三层多层感知机（MLP），并分别采用与不采用饱和惩罚，以促使激活值进入饱和的非线性区域（Sigmoid与ReLU）。
• 使用原始梯度估计与稳定化梯度估计，分别应用快速梯度符号法（FGSM）生成对抗样本。
• 采用改进的FGSM方法，通过降低Sigmoid非线性中的增益，以提升梯度稳定性，同时保持激活值的饱和性。
• 分析梯度元素的分布，量化饱和网络中零值梯度与数值不稳定的梯度所占比例。
• 基于非零梯度的比例评估攻击成功率，并将其与数值稳定性进行相关性分析。
• 通过降低输出层激活值，将该攻击方法扩展至ReLU网络，实现类似稳定化效果。

实验结果

研究问题

• RQ1 饱和深度神经网络对FGSM攻击的鲁棒性是否源于梯度计算中的数值不稳定性？
• RQ2 是否可通过稳定化的梯度估计成功生成高度饱和网络的对抗样本？
• RQ3 在饱和网络中，零值梯度所占比例与FGSM攻击成功率的相关性有多大？
• RQ4 先前研究中观察到的鲁棒性（例如，[1]）是否为特定实现中数值限制的产物？
• RQ5 当梯度估计被稳定化后，是否可对具有饱和激活的网络可靠地应用基于梯度的攻击？

主要发现

• 在饱和Sigmoid网络中，超过98.2%的梯度元素恰好为零，其余部分的数值比普通网络小16个数量级，表明存在严重的数值不稳定性。
• 由于原始FGSM攻击依赖于不稳定或零梯度，导致在Sigmoid MLP上实现96.6%的鲁棒性，因此攻击失败。
• 通过降低Sigmoid增益实现的稳定化梯度估计，成功恢复了FGSM攻击，使同一饱和Sigmoid MLP的鲁棒性降至仅1.7%。
• 对于基于ReLU的饱和网络，通过降低输出层激活值实现类似攻击，使鲁棒性从98.0%降至8.4%。
• 攻击成功率与非零梯度的比例强相关，当因高饱和度导致更多梯度变为零时，成功率显著下降。
• 结果表明，先前研究中观察到的鲁棒性很可能是由数值限制所致，而非内在保护机制，因此不能被视为真实鲁棒性的有效度量。