[论文解读] A Comprehensive Survey and Performance Analysis of Activation Functions in Deep Learning.

Shiv Ram Dubey, Satish Kumar Singh+1 more|arXiv (Cornell University)|Sep 29, 2021

Advanced Neural Network Applications参考文献 153被引用 17

一句话总结

本文对18种最先进的激活函数（AFs）在多种深度学习架构和数据集上的表现进行了全面综述与实证性能分析。基于输出范围、平滑性、单调性等关键特性评估了AFs，深入探讨了其行为特征及在不同任务中的适用性，并公开发布了代码以确保可复现性。

ABSTRACT

Neural networks have shown tremendous growth in recent years to solve numerous problems. Various types of neural networks have been introduced to deal with different types of problems. However, the main goal of any neural network is to transform the non-linearly separable input data into more linearly separable abstract features using a hierarchy of layers. These layers are combinations of linear and nonlinear functions. The most popular and common non-linearity layers are activation functions (AFs), such as Logistic Sigmoid, Tanh, ReLU, ELU, Swish and Mish. In this paper, a comprehensive overview and survey is presented for AFs in neural networks for deep learning. Different classes of AFs such as Logistic Sigmoid and Tanh based, ReLU based, ELU based, and Learning based are covered. Several characteristics of AFs such as output range, monotonicity, and smoothness are also pointed out. A performance comparison is also performed among 18 state-of-the-art AFs with different networks on different types of data. The insights of AFs are presented to benefit the researchers for doing further research and practitioners to select among different choices. The code used for experimental comparison is released at: \url{this https URL}.

研究动机与目标

• 提供深度神经网络中主要激活函数类别系统的概述。
• 分析激活函数的关键特性，包括输出范围、单调性和平滑性。
• 在多种网络架构和数据集上对18种最先进的激活函数进行实证比较。
• 根据具体问题需求，为研究人员和实践者提供选择最优激活函数的指导。
• 公开发布代码，以支持可复现性及激活函数性能的进一步基准测试。

提出的方法

• 将激活函数分为四种类别：基于Logistic Sigmoid/Tanh的、基于ReLU的、基于ELU的以及学习型AFs。
• 系统分析激活函数的特性，如输出范围、单调性和平滑性，以理解其对网络行为的影响。
• 在多种深度学习模型和数据集上对18种SOTA激活函数进行实证评估，以衡量泛化能力和准确性。
• 在不同网络类型（如CNNs、MLPs）和数据类型（如图像、表格数据）之间进行性能比较，以评估鲁棒性和适应性。
• 采用标准化的训练协议和评估指标，确保比较的公平性与可复现性。
• 开源实验代码，以支持社区复用与功能扩展。

实验结果

研究问题

• RQ1 在多种深度学习任务中，不同类别的激活函数（如基于ReLU的、Swish、Mish）在性能上如何比较？
• RQ2 哪些激活函数特性——如平滑性、输出范围和单调性——对模型准确率和收敛性影响最大？
• RQ3 激活函数在不同网络架构和数据类型（如图像与表格数据）上的表现如何？
• RQ4 与手工设计的激活函数相比，学习型激活函数的相对优势与劣势是什么？
• RQ5 哪种激活函数在性能、训练稳定性和计算效率之间提供了最佳权衡？

主要发现

• 基于ReLU的激活函数，特别是ReLU及其变体，在大多数基准测试中表现稳定且优异，主要得益于其计算效率和促进稀疏性的特性。
• Swish和Mish在某些视觉和自然语言处理任务中表现更优，尤其在需要平滑性和非单调性优势的场景中。
• 基于ELU的函数在更深的网络中表现出更快的收敛速度和更高的准确性，尤其在卷积架构中效果显著。
• 学习型激活函数虽然灵活，但并未在所有情况下超越手工设计的函数，且通常需要更多的超参数调优。
• 激活函数的选择对模型性能有显著影响，不存在在所有架构和数据集上均最优的单一AF。
• 平滑性和输出范围被证实是影响训练稳定性和最终准确性的关键因素，尤其在深层网络中更为重要。