[论文解读] Biologically Inspired Oscillating Activation Functions Can Bridge the Performance Gap between Biological and Artificial Neurons

Matthew Mithra Noel, Shubham Bharadwaj+3 more|arXiv (Cornell University)|Nov 7, 2021

Neural Networks and Applications被引用 5

一句话总结

该论文提出四种新颖的生物启发振荡激活函数——SQU、NCU、SSU 和 DSU——通过利用多个决策超平面，使单个人工神经元能够学习异或（XOR）函数。这些非饱和函数改善了梯度流动，加速了训练过程，并在 CIFAR-10、CIFAR-100 和 ImageNet 基准测试中全面超越所有标准激活函数，显著减少了网络深度和参数数量，同时提升了准确率。

ABSTRACT

The recent discovery of special human neocortical pyramidal neurons that can individually learn the XOR function highlights the significant performance gap between biological and artificial neurons. The output of these pyramidal neurons first increases to a maximum with input and then decreases. Artificial neurons with similar characteristics can be designed with oscillating activation functions. Oscillating activation functions have multiple zeros allowing single neurons to have multiple hyper-planes in their decision boundary. This enables even single neurons to learn the XOR function. This paper proposes four new oscillating activation functions inspired by human pyramidal neurons that can also individually learn the XOR function. Oscillating activation functions are non-saturating for all inputs unlike popular activation functions, leading to improved gradient flow and faster convergence. Using oscillating activation functions instead of popular monotonic or non-monotonic single-zero activation functions enables neural networks to train faster and solve classification problems with fewer layers. An extensive comparison of 23 activation functions on CIFAR 10, CIFAR 100, and Imagentte benchmarks is presented and the oscillating activation functions proposed in this paper are shown to outperform all known popular activation functions.

研究动机与目标

• 通过模拟人类新皮层锥体神经元中观察到的振荡激活动态，弥合生物神经元与人工神经元之间的性能差距。
• 设计具有多个零点的非饱和激活函数，使单个神经元能够学习非线性不可分任务（如 XOR），而无需多层网络结构。
• 通过用振荡替代单调或单零点激活函数，改善梯度流动并加速训练过程。
• 证明振荡激活函数可使深层网络在更少层数和参数下实现更高准确率。

提出的方法

• 提出四种受人类锥体神经元振荡放电模式启发的新振荡激活函数——SQU、NCU、SSU 和 DSU。
• 设计具有多个零点的函数，以在决策边界中形成多个超平面，使单个神经元能够学习 XOR 任务。
• 通过避免导数接近零的区域，确保非饱和行为，从而在反向传播过程中改善梯度流动。
• 在标准化的 CNN 架构上，对 23 种激活函数（包括 ReLU、Swish、Mish 和 SiLU）在 CIFAR-10、CIFAR-100 和 ImageNet 上进行训练与评估。
• 通过基准测试中的平均排名比较性能，并追踪准确率与深度的关系，以评估表征效率。
• 利用经验训练曲线和消融研究，验证振荡函数在更快收敛和更优泛化能力方面的优势。

实验结果

研究问题

• RQ1 具有振荡激活函数的人工神经元能否单独学习异或（XOR）函数，从而模拟生物锥体神经元的特性？
• RQ2 与 ReLU 和 Swish 等标准非饱和函数相比，振荡激活函数是否能改善梯度流动并加速训练？
• RQ3 使用振荡激活函数的网络是否能在更少层数和参数下实现比使用标准激活函数更高的准确率？
• RQ4 在 CIFAR-10、CIFAR-100 和 ImageNet 等标准图像分类基准测试中，振荡激活函数是否全面优于所有已知的流行激活函数？
• RQ5 振荡激活函数在在多大程度上减少了对深层网络架构的依赖，从而通过增强单个神经元的表征能力？

主要发现

• 所提出的振荡激活函数——SQU、NCU、SSU 和 DSU——使单个神经元能够学习异或（XOR）函数，而这是标准 ReLU 或 Sigmoid 神经元无法实现的任务。
• 在 CIFAR-10 基准测试中，SQU 获得最佳平均排名 1.000，优于所有其他激活函数。
• 在 CIFAR-100 上，GCU 和 NCU 分别位列第一和第二，平均排名为 1.000 和 2.667。
• 在 ImageNet 上，GCU 和 DSU 分别排名第一和第二，平均排名为 1.000 和 3.000，表现出卓越的泛化能力。
• 使用振荡激活函数的网络训练速度更快，且在更少层数下达到更高准确率，表明其具有更高的表征效率。
• 在所有基准测试中，振荡函数显著优于 ReLU、Swish、Mish 和 SELU，其中 SQU 和 GCU 在所有数据集上均稳定位列前三。