[论文解读] GELU Activation Function in Deep Learning: A Comprehensive Mathematical Analysis and Performance

Minhyeok Lee|arXiv (Cornell University)|May 20, 2023

Advanced Neural Network Applications被引用 21

一句话总结

论文对 GELU 激活函数进行了严格的数学分析，并将其性能与其他激活函数在 CIFAR-10/100、STL-10 的残差CNN上进行比较，显示 GELU 的有利特性和有效性。

ABSTRACT

Selecting the most suitable activation function is a critical factor in the effectiveness of deep learning models, as it influences their learning capacity, stability, and computational efficiency. In recent years, the Gaussian Error Linear Unit (GELU) activation function has emerged as a dominant method, surpassing traditional functions such as the Rectified Linear Unit (ReLU) in various applications. This study presents a rigorous mathematical investigation of the GELU activation function, exploring its differentiability, boundedness, stationarity, and smoothness properties in detail. Additionally, we conduct an extensive experimental comparison of the GELU function against a broad range of alternative activation functions, utilizing a residual convolutional network trained on the CIFAR-10, CIFAR-100, and STL-10 datasets as the empirical testbed. Our results demonstrate the superior performance of GELU compared to other activation functions, establishing its suitability for a wide range of deep learning applications. This comprehensive study contributes to a more profound understanding of the underlying mathematical properties of GELU and provides valuable insights for practitioners aiming to select activation functions that optimally align with their specific objectives and constraints in deep learning.

研究动机与目标

• 研究 GELU 的数学性质，包括可微性、有界性、驻点性（stationarity）和光滑性。
• 理解 GELU 与归一化方法的相互作用如何影响训练动态。
• 在标准图像数据集上，经验性地将 GELU 与各种激活函数进行比较。
• 探讨深度学习实践中激活函数选择的含义。

提出的方法

• 给出深度网络和激活函数的形式化数学描述。
• 推导并分析 GELU 的导数，以确立可微性和梯度行为。
• 检查 GELU 的有界性、归一化下的上界以及 Lipschitz 连续性。
• 在残差 CNN 中评估带有不同归一化技术（BN、LN、GN）的 GELU 影响。
• 在 CIFAR-10、CIFAR-100 和 STL-10 上对 GELU 与其他激活函数进行经验比较。

Figure 4: Experimental comparison of activation functions with respect to training epoch.

实验结果

研究问题

• RQ1 GELU 的精确可微性、有界性、驻点性和光滑性属性是什么？
• RQ2 GELU 如何与归一化方法相互作用以影响训练稳定性和梯度传播？
• RQ3 GELU 与其他激活函数在标准图像分类基准上的经验比较如何？

主要发现

• GELU 在任何地方都可微，并且具有受归一化控制的上界的负区域。
• GELU 的导数可以以闭式表达，支持稳定的基于梯度的优化。
• 在 GELU 之前的归一化对激活值给出上界，有助于稳定训练。
• 在 CIFAR-10、CIFAR-100 和 STL-10 上，与其他激活函数相比，GELU 在基于残差 CNN 的基线中表现出有利的性能。
• GELU 实现了 Lipschitz 连续性，且其导数有界，有助于良好优化景观。