[论文解读] Benchmarking the Accuracy and Robustness of Feedback Alignment Algorithms

Albert Jiménez Sanfiz, Mohamed Akrout|arXiv (Cornell University)|Aug 30, 2021

Advanced Memory and Neural Computing被引用 4

一句话总结

本文介绍了 BioTorch，一个用于在深度神经网络中训练和基准测试生物可实现的反馈对齐（FA）算法的开源框架。它在 MNIST、CIFAR-10 和 ImageNet 上评估了 FA 变体（包括 uSF、brSF 和 frSF），结果表明，如 uSF 这类符号一致方法在 ImageNet 上实现了 34.97% 的 top-1 错误率，与反向传播方法相当，同时在对抗性攻击（包括白盒和黑盒）下表现出更强的鲁棒性。

ABSTRACT

Backpropagation is the default algorithm for training deep neural networks due to its simplicity, efficiency and high convergence rate. However, its requirements make it impossible to be implemented in a human brain. In recent years, more biologically plausible learning methods have been proposed. Some of these methods can match backpropagation accuracy, and simultaneously provide other extra benefits such as faster training on specialized hardware (e.g., ASICs) or higher robustness against adversarial attacks. While the interest in the field is growing, there is a necessity for open-source libraries and toolkits to foster research and benchmark algorithms. In this paper, we present BioTorch, a software framework to create, train, and benchmark biologically motivated neural networks. In addition, we investigate the performance of several feedback alignment methods proposed in the literature, thereby unveiling the importance of the forward and backward weight initialization and optimizer choice. Finally, we provide a novel robustness study of these methods against state-of-the-art white and black-box adversarial attacks.

研究动机与目标

• 为解决缺乏用于基准测试生物可实现学习算法（尤其是反馈对齐（FA）方法）的开源工具的问题。
• 研究前向与反向权重初始化、优化器选择以及网络深度对 FA 算法性能的影响。
• 评估基于 FA 的模型在最先进的白盒和黑盒对抗性攻击下的鲁棒性。
• 提供一个可复现、模块化且可扩展的框架，用于训练和比较生物启发的神经网络。
• 在多种数据集和网络架构上建立反馈对齐方法在准确率和对抗性鲁棒性方面的基线。

提出的方法

• 开发了 BioTorch，一个基于 PyTorch 的开源框架，支持五种反馈对齐变体：FA、DFA、uSF、brSF 和 frSF。
• 实现了自动模型转换和可配置的训练流水线，以实现在不同数据集和优化器之间的可复现基准测试。
• 采用方差保持的权重初始化方法（如 Kaiming、Xavier）和正态分布初始化，以研究其对收敛性和对齐性能的影响。
• 在 MNIST 和 Fashion-MNIST 上训练浅层网络，在 CIFAR-10 上使用 ResNet-20 训练深层网络，并在 ImageNet 上训练完整的 ResNet-18 以评估可扩展性。
• 使用 Torchattacks 库应用白盒攻击（FGSM、PGD、APGD、TPGD）和黑盒攻击（Few-Pixel、Square）来评估鲁棒性。
• 通过 top-1 验证错误率以及在不同扰动幅度（ε）和攻击查询预算下的鲁棒性来衡量性能。

实验结果

研究问题

• RQ1 不同的权重初始化策略（如 Kaiming 与正态分布）如何影响反馈对齐方法的收敛性和性能？
• RQ2 优化器选择（SGD 与 Adam）对前向与反向权重对齐及最终模型准确率有何影响？
• RQ3 反馈对齐方法能否在 ImageNet 上实现与反向传播相当的准确率？
• RQ4 基于反馈对齐的模型在最先进的白盒和黑盒对抗性攻击下表现如何？
• RQ5 符号一致的反馈对齐变体（uSF、brSF、frSF）是否相比标准 FA 和 DFA 提供了更高的鲁棒性？

主要发现

• 使用 ResNet-18 在 ImageNet 上，uSF 方法实现了 34.97% 的 top-1 验证错误率，显著优于标准 FA（85.25%）和 DFA（82.45%）。
• Adam 优化器在前向与反向权重初始化不匹配时，实现了更快的权重对齐和更高的准确率，优于 SGD。
• 使用 FA 和 DFA 训练的模型在 PGD 和 APGD 攻击下（ε ≤ 0.1）表现出极小的准确率下降，表明对白盒对抗性攻击具有强鲁棒性。
• uSF、brSF 和 frSF 变体在白盒攻击下表现出比全权重或仅符号传输方法更高的鲁棒性，可能归因于更嘈杂的梯度。
• Few-Pixel 黑盒攻击有效降低了模型性能，但 FA 和符号一致方法（uSF、brSF）比 BP 训练的模型更具韧性。
• Square 黑盒攻击对所有方法均造成性能下降，表明反馈对齐方法在这一查询密集型攻击下并无显著鲁棒性优势。