[论文解读] Biologically Inspired Mechanisms for Adversarial Robustness

Manish V. Reddy, Andrzej Banburski+2 more|arXiv (Cornell University)|Jun 29, 2020

Adversarial Robustness in Machine Learning参考文献 39被引用 14

一句话总结

本文提出两种受生物学启发的机制——非均匀视网膜采样与多尺度感受野——以提升卷积神经网络的对抗鲁棒性。通过模仿灵长类视觉系统中不均匀的空间采样与分层的感受野大小，模型在不产生梯度混淆的情况下，显著增强了对对抗扰动的鲁棒性，在PGD与边界攻击评估中均优于标准ResNet。

ABSTRACT

A convolutional neural network strongly robust to adversarial perturbations at reasonable computational and performance cost has not yet been demonstrated. The primate visual ventral stream seems to be robust to small perturbations in visual stimuli but the underlying mechanisms that give rise to this robust perception are not understood. In this work, we investigate the role of two biologically plausible mechanisms in adversarial robustness. We demonstrate that the non-uniform sampling performed by the primate retina and the presence of multiple receptive fields with a range of receptive field sizes at each eccentricity improve the robustness of neural networks to small adversarial perturbations. We verify that these two mechanisms do not suffer from gradient obfuscation and study their contribution to adversarial robustness through ablation studies.

研究动机与目标

• 探究灵长类腹侧视觉通路中的生物合理机制是否能增强深度神经网络的对抗鲁棒性。
• 解决现代CNN在对抗鲁棒性方面与人类视觉感知之间的关键差距，后者对微小扰动仍保持鲁棒。
• 评估引入视网膜采样非均匀性与多尺度感受野是否能提升鲁棒性，且不引入梯度混淆。
• 通过消融研究与对抗攻击对比，提供对这些机制的实证验证。
• 探究对抗鲁棒性是否与更类人、可解释性更强的特征表示相关。

提出的方法

• 实现受灵长类视网膜启发的非均匀空间采样，其中采样密度随离固定点的偏心度增加而降低。
• 在每个偏心度层级引入多尺度感受野，模拟灵长类视觉系统中感受野大小随距中央凹距离增加而逐步增大的特性。
• 将这些机制整合到标准ResNet架构中，以生物启发的采样模式替代原有的均匀网格采样。
• 通过生成以固定点为中心的尺度空间片段，并在它们之间进行池化操作，实现多尺度处理，以增强对变换的不变性。
• 使用PGD与边界攻击（控制迭代次数）评估对抗鲁棒性，比较扰动大小与攻击成功率。
• 进行消融研究与基于梯度的评估（如BPDA），以排除梯度混淆对鲁棒性结论的干扰。

实验结果

研究问题

• RQ1 非均匀视网膜采样是否能在不引入梯度混淆的前提下提升深度神经网络的对抗鲁棒性？
• RQ2 多尺度感受野在多大程度上能增强CNN对小规模对抗扰动的鲁棒性？
• RQ3 这些生物启发机制是否导致比标准模型更类人的特征表示？
• RQ4 在PGD与边界攻击等强对抗攻击下，所提出的模型与标准ResNet及粗粒度固定点模型相比表现如何？
• RQ5 所观察到的鲁棒性是源于真正的对抗防御，还是梯度混淆等人为干扰？

主要发现

• 在5步PGD攻击下，视网膜模型与皮层固定点模型的对抗扰动显著小于1000步边界攻击下的扰动，其中皮层模型的扰动大小分别为8.2e-06与2.5e-03。
• 使用5步PGD生成的对抗样本误分类概率约为100%，而边界攻击样本的误分类概率约为50%，表明PGD在诱导误分类方面优化更高效。
• 即使使用大扰动，BPDA方法也未能找到标准PGD能成功攻击的对抗样本，表明所提模型中不存在梯度混淆。
• 在边界攻击下，视网膜与皮层模型所需的扰动比原始ResNet更大，表明其对这类攻击更具鲁棒性。
• 消融研究证实，非均匀采样与多尺度感受野均能独立提升鲁棒性。
• 结果支持对抗鲁棒性与更类人的特征表示之间存在关联，因为鲁棒模型在特征可视化与操控中表现出与人类感知更好的对齐。