[论文解读] Intrinsic Biologically Plausible Adversarial Robustness

Matilde Tristany Farinha, Thomas Ortner+3 more|arXiv (Cornell University)|Sep 29, 2023

Adversarial Robustness in Machine LearningComputer Science被引用 3

一句话总结

该论文表明，使用一种生物上合理的学习算法 PEPITA 训练的神经网络（ANNs）相比反向传播（BP）训练的网络，表现出显著更高的内在对抗鲁棒性。与 BP 不同，PEPITA 在无需对抗训练的情况下仍能保持在对抗样本上的强性能，且在自然准确率与对抗准确率之间的权衡上表现更优，相同自然准确率水平下，其对抗准确率平均仅下降 0.26%，而 BP 则下降 8.05%。

ABSTRACT

Artificial Neural Networks (ANNs) trained with Backpropagation (BP) excel in different daily tasks but have a dangerous vulnerability: inputs with small targeted perturbations, also known as adversarial samples, can drastically disrupt their performance. Adversarial training, a technique in which the training dataset is augmented with exemplary adversarial samples, is proven to mitigate this problem but comes at a high computational cost. In contrast to ANNs, humans are not susceptible to misclassifying these same adversarial samples. Thus, one can postulate that biologically-plausible trained ANNs might be more robust against adversarial attacks. In this work, we chose the biologically-plausible learning algorithm Present the Error to Perturb the Input To modulate Activity (PEPITA) as a case study and investigated this question through a comparative analysis with BP-trained ANNs on various computer vision tasks. We observe that PEPITA has a higher intrinsic adversarial robustness and, when adversarially trained, also has a more favorable natural-vs-adversarial performance trade-off. In particular, for the same natural accuracies on the MNIST task, PEPITA's adversarial accuracies decrease on average only by 0.26% while BP's decrease by 8.05%.

研究动机与目标

• 探究类似 PEPITA 的生物上合理的学习算法是否能实现高于反向传播（BP）的内在对抗鲁棒性。
• 比较在对抗训练下 BP 与 PEPITA 在自然性能与对抗性能之间的权衡表现。
• 评估使用弱攻击（如 FGSM）进行快速对抗训练在 PEPITA 与 BP 模型上的有效性。
• 确定生物启发的学习机制是否本质上能提升对基于梯度的对抗攻击的鲁棒性。

提出的方法

• 本研究在标准计算机视觉基准（如 MNIST、CIFAR-10）上，使用相同的网络架构和超参数，对比 BP 与 PEPITA 的表现。
• PEPITA 通过使用反馈误差调制的第二次前向传播计算学习信号，从而无需单独的反向传播或权重共享梯度。
• 使用 FGSM 生成的对抗样本进行对抗训练，以评估在快速训练范式下的鲁棒性。
• 通过在强攻击（如 PGD）下测量自然准确率与对抗准确率，评估鲁棒性，性能在不同扰动幅度下进行追踪。
• 通过在仅使用自然数据训练的模型上测试对抗扰动，评估其内在鲁棒性。
• 分析包括噪声水平与参数设置的消融研究，以评估其对对抗泛化的影响。

实验结果

研究问题

• RQ1 PEPITA 是否在未进行对抗训练的情况下也表现出内在对抗鲁棒性，而 BP 则不具备？
• RQ2 当 BP 与 PEPITA 均经过对抗训练时，其自然性能与对抗性能之间的权衡如何比较？
• RQ3 使用弱攻击（如 FGSM）进行快速对抗训练，是否能显著提升 PEPITA 模型对强攻击（如 PGD）的鲁棒性，优于 BP？
• RQ4 生物上合理的学习算法（如 PEPITA）是否能在不依赖计算成本高昂的训练过程的情况下，实现与 BP 相当或更优的鲁棒性？

主要发现

• PEPITA 模型表现出内在对抗鲁棒性，在仅使用自然数据训练的情况下，仍能保持对对抗样本的高准确率，而 BP 模型则不具备此特性。
• 在对抗训练下，PEPITA 实现了显著更优的自然准确率与对抗准确率权衡，相同自然准确率水平下，其对抗准确率平均仅下降 0.26%，而 BP 则下降 8.05%。
• 使用弱对抗样本（如 FGSM）训练的 PEPITA 模型在强攻击（如 PGD）下泛化能力更强，表现出优于 BP 模型的鲁棒性，且在相同训练范式下表现更优。
• 本研究证实，学习过程中梯度的计算方式——特别是 PEPITA 中基于反馈的机制——在对抗鲁棒性中起着关键作用，表明生物上合理的学习与鲁棒性之间存在关联。
• PEPITA 的鲁棒性并非源于网络架构或超参数差异，因为所有模型均在相同条件下训练，学习算法是唯一关键变量。
• 结果表明，PEPITA 的基于反馈的学习机制本质上促进了鲁棒特征学习，降低了对基于梯度的对抗攻击的敏感性。