[论文解读] Biologically inspired protection of deep networks from adversarial attacks

Aran Nayebi, Surya Ganguli|arXiv (Cornell University)|Mar 27, 2017

Adversarial Robustness in Machine Learning参考文献 19被引用 98

一句话总结

论文提出一个生物启发的训练方案，将网络推向非线性饱和 regime，以自然而然地抵御基于梯度的对抗攻击，在 MNIST 上无需对抗性训练就实现了最先进的鲁棒性。

ABSTRACT

Inspired by biophysical principles underlying nonlinear dendritic computation in neural circuits, we develop a scheme to train deep neural networks to make them robust to adversarial attacks. Our scheme generates highly nonlinear, saturated neural networks that achieve state of the art performance on gradient based adversarial examples on MNIST, despite never being exposed to adversarially chosen examples during training. Moreover, these networks exhibit unprecedented robustness to targeted, iterative schemes for generating adversarial examples, including second-order methods. We further identify principles governing how these networks achieve their robustness, drawing on methods from information geometry. We find these networks progressively create highly flat and compressed internal representations that are sensitive to very few input dimensions, while still solving the task. Moreover, they employ highly kurtotic weight distributions, also found in the brain, and we demonstrate how such kurtosis can protect even linear classifiers from adversarial attack.

研究动机与目标

• 受启发于非线性树突计算，激励对抗鲁棒性 defenses。
• 开发一个可行的训练方案，使网络进入饱和 regime。
• 分析饱和如何影响内部表征和几何结构以赋予鲁棒性。
• 识别与鲁棒性相关的权重分布特性（高峰态偏度/kurtosis），包括简单分类器中的线性机制。

提出的方法

• 设计一个饱和惩罚，鼓励激活在非线性函数的饱和区工作。
• 在训练中跨所有层（包括读出层）应用一个退火惩罚，并与标准优化（Adam）结合。
• 使用基于交叉熵的目标函数，结合饱和正则化以抑制线性区。
• 评估对梯度攻击的鲁棒性（快速梯度符号法）和迭代二阶方法。
• 在 MNIST 的 sigmoid MLP、ReLU MLP 和 CNN 架构上，对比 Vanilla、对抗性训练和饱和网络的鲁棒性。

实验结果

研究问题

• RQ1 生物启发的饱和 regime 是否可以在不进行对抗性训练的情况下改善深度网络对对抗扰动的内在鲁棒性？
• RQ2 在饱和网络中出现哪些内部表征和几何属性支撑鲁棒性？
• RQ3 与大脑网络类似的权重高峰态分布是否有助于对抗扰动的保护？
• RQ4 与标准防御相比，饱和网络在迭代与二阶攻击者面前的表现如何？
• RQ5 在不同架构（MLP 变体与 CNN）之间，饱和网络的鲁棒性是否具有可迁移性？

主要发现

• 饱和网络在对抗样本的梯度攻击下，在 MNIST 的错误率为 2-7%，且对清洁测试精度几乎无损失。
• 在 MNIST 设置中，饱和网络在对抗样本上超越对抗性训练的对手。
• 饱和网络中的权重呈现更高的超峰度（excess kurtosis），这是一种与鲁棒性相关的脑样本属性。
• 内部表征按类别高度聚类，并在跨层中越发分离，输入输出映射趋于平坦。
• 信息几何分析显示饱和网络具有平坦、低维的输入输出函数和特征值模式，指示受限的敏感方向。
• 权重峰度在单纯线性分类器中也能独立赋予鲁棒性。