[论文解读] A survey on recently proposed activation functions for Deep Learning

Murilo Gustineli|arXiv (Cornell University)|Apr 6, 2022

Neural Networks and Applications被引用 6

一句话总结

本综述回顾了深度学习中最近提出的激活函数，重点关注新型振荡函数（如NCU、SQU、DSU和SSU），这些函数使单个神经元无需人工特征工程即可学习XOR函数。这些受生物启发的函数通过减少训练时间、降低神经元数量并提升基准任务的收敛性，优于标准激活函数。

ABSTRACT

Artificial neural networks (ANN), typically referred to as neural networks, are a class of Machine Learning algorithms and have achieved widespread success, having been inspired by the biological structure of the human brain. Neural networks are inherently powerful due to their ability to learn complex function approximations from data. This generalization ability has been able to impact multidisciplinary areas involving image recognition, speech recognition, natural language processing, and others. Activation functions are a crucial sub-component of neural networks. They define the output of a node in the network given a set of inputs. This survey discusses the main concepts of activation functions in neural networks, including; a brief introduction to deep neural networks, a summary of what are activation functions and how they are used in neural networks, their most common properties, the different types of activation functions, some of the challenges, limitations, and alternative solutions faced by activation functions, concluding with the final remarks.

研究动机与目标

• 分析传统激活函数的局限性，例如梯度消失和神经元死亡问题。
• 研究振荡激活函数在弥合人工神经网络与生物神经网络性能差距方面的潜力。
• 评估受生物启发的振荡函数是否能以更少神经元和更快收敛速度解决复杂任务（如XOR分类）。
• 在基准分类任务上，将新型振荡函数与标准激活函数（如ReLU、Swish、Mish）的性能进行比较。
• 探索振荡函数在深度神经网络中的计算效率和训练效率。

提出的方法

• 提出四种新型振荡激活函数：非单调三次单元（NCU）、平移二次单元（SQU）、衰减正弦单元（DSU）和位移Sinc单元（SSU），每种函数均有独特的数学表达式。
• 采用基于ReLU的网络架构，包含3–4个卷积层，用于评估分类任务中的性能表现。
• 使用标准训练协议，结合随机梯度下降和交叉熵损失，以比较收敛速度和准确率。
• 分析激活函数的导数行为，以评估其缓解梯度消失问题的能力。
• 评估新函数的零均值化和有界性特性，以分析其对权重更新效率的影响。
• 在相同超参数下，通过多个数据集和网络深度比较训练动态与最终准确率。

实验结果

研究问题

• RQ1 振荡激活函数（如NCU、SQU、DSU和SSU）是否能使单个人工神经元在无需外部特征工程的情况下学习XOR函数？
• RQ2 在分类任务中，振荡激活函数与标准激活函数（如ReLU、Swish、Mish）相比，在训练速度和收敛性方面表现如何？
• RQ3 振荡函数在多大程度上减少了深度网络中所需的神经元和层数？
• RQ4 与传统激活函数相比，振荡函数是否能在更少训练周期内保持高准确率？
• RQ5 振荡激活函数是否有助于缩小人工神经网络与生物神经网络在学习复杂非线性可分函数方面的性能差距？

主要发现

• 振荡激活函数NCU、SQU、DSU和SSU使单个神经元能够学习XOR函数，而使用标准激活函数则至少需要三个神经元。
• 采用振荡激活的网络在20个训练周期内即可收敛，且在3层卷积网络上准确率超过68%。
• SQU激活函数即使在训练周期减少的情况下仍能保持高准确率，表明其训练效率更高。
• 振荡激活函数在减少训练时间以及实现同等性能所需的神经元数量方面，优于标准激活函数。
• 这些函数由于在更广的输入范围内具有更大的导数值，从而改善了梯度流动，缓解了梯度消失问题。
• 研究表明，振荡激活函数可能通过模仿人类皮层神经元中观察到的振荡行为，有助于弥合人工神经网络与生物神经网络之间的性能差距。