[论文解读] Node Perturbation Can Effectively Train Multi-Layer Neural Networks

Sander Dalm, Marcel van Gerven+1 more|arXiv (Cornell University)|Oct 2, 2023

Neural Networks and Applications被引用 4

一句话总结

该论文提出了一种新颖且生物上合理的深度神经网络训练方法，结合节点扰动（NP）与方向导数及逐层输入去相关技术。通过将NP重新表述为迭代方向导数更新，并应用去相关以减少梯度协方差，该方法在噪声环境或不可微系统中也能实现与反向传播相当的训练速度。

ABSTRACT

Backpropagation (BP) remains the dominant and most successful method for training parameters of deep neural network models. However, BP relies on two computationally distinct phases, does not provide a satisfactory explanation of biological learning, and can be challenging to apply for training of networks with discontinuities or noisy node dynamics. By comparison, node perturbation (NP), also known as activity-perturbed forward gradients, proposes learning by the injection of noise into network activations, and subsequent measurement of the induced loss change. NP relies on two forward (inference) passes, does not make use of network derivatives, and has been proposed as a model for learning in biological systems. However, standard NP is highly data inefficient and can be unstable due to its unguided noise-based search process. In this work, we develop a modern perspective on NP by relating it to the directional derivative and incorporating input decorrelation. We find that a closer alignment with directional derivatives together with input decorrelation at every layer theoretically and practically enhances performance of NP learning with large improvements in parameter convergence and much higher performance on the test data, approaching that of BP. Furthermore, our novel formulation allows for application to noisy systems in which the noise process itself is inaccessible, which is of particular interest for on-chip learning in neuromorphic systems.

研究动机与目标

• 解决标准节点扰动（NP）在训练深度神经网络时效率低下和不稳定的缺陷。
• 基于方向导数提出NP的理论基础更扎实的公式化表达，以提升学习稳定性和收敛性。
• 提出一种抗噪声更新规则——基于活动的节点扰动（DANP），该规则无需访问干净的网络前向传递。
• 通过逐层输入去相关提升NP性能，以减少更新协方差并改善信用分配。
• 实现在噪声固有且不可测量的系统中（如神经形态硬件或生物神经网络）的有效训练。

提出的方法

• 将节点扰动重新表述为迭代方向导数更新，提供更稳定且理论依据更充分的学习规则。
• 提出基于活动的节点扰动（DANP），仅通过噪声前向传递计算权重更新，无需依赖干净网络评估。
• 在各层激活上应用去相关机制，以降低输入特征相关性，从而最小化NP更新中的偏差。
• 在每一层对激活应用白化变换（如ZCA或基于PCA的变换），以实现输入去相关并提升学习效率。
• 结合基于方向导数的更新与去相关输入，实现更快的收敛速度和更小的权重更新方差。
• 在全连接网络中实现该方法，并在CIFAR-10数据集上评估性能，与标准NP和反向传播进行对比。

实验结果

研究问题

• RQ1 节点扰动能否通过方向导数重新表述，以提升深度学习中的稳定性和收敛性？
• RQ2 基于活动的节点扰动（DANP）是否能在不访问干净网络前向传递的情况下实现有效学习？
• RQ3 逐层输入去相关在多大程度上降低了NP更新的协方差并提升了训练速度？
• RQ4 基于NP的训练能否在标准视觉基准测试中实现与反向传播相当的性能？
• RQ5 在噪声固有且不可测量的系统（如神经形态硬件或生物网络）中，该方法的可扩展性如何？

主要发现

• 所提方法结合方向导数与输入去相关，实现了比标准节点扰动快多个数量级的训练收敛速度。
• 基于活动的节点扰动（DANP）性能几乎与基于干净前向传递的NP相当，表明在噪声环境中干净网络传递提供的增益极小。
• 逐层去相关显著降低了NP更新的协方差，从而带来更稳定高效的训练。
• 该方法在使用三层全连接网络的CIFAR-10数据集上，训练集性能与反向传播相当。
• 该方法可在噪声固有且不可测量的系统中实现有效学习，如精度有限的硬件或生物神经结构。
• 尽管训练速度显著提升，NP训练的模型测试准确率略低，表明可能存在过拟合效应，可能与去相关引起的数据白化有关。