[論文レビュー] GELU Activation Function in Deep Learning: A Comprehensive Mathematical Analysis and Performance

Minhyeok Lee|arXiv (Cornell University)|May 20, 2023

Advanced Neural Network Applications被引用数 21

ひとこと要約

この論文は GELU 活性化関数の厳密な数学的分析を提供し、残差 CNN を CIFAR-10/100 および STL-10 で他の活性化と比較し、GELU の有利な性質と有効性を示している。

ABSTRACT

Selecting the most suitable activation function is a critical factor in the effectiveness of deep learning models, as it influences their learning capacity, stability, and computational efficiency. In recent years, the Gaussian Error Linear Unit (GELU) activation function has emerged as a dominant method, surpassing traditional functions such as the Rectified Linear Unit (ReLU) in various applications. This study presents a rigorous mathematical investigation of the GELU activation function, exploring its differentiability, boundedness, stationarity, and smoothness properties in detail. Additionally, we conduct an extensive experimental comparison of the GELU function against a broad range of alternative activation functions, utilizing a residual convolutional network trained on the CIFAR-10, CIFAR-100, and STL-10 datasets as the empirical testbed. Our results demonstrate the superior performance of GELU compared to other activation functions, establishing its suitability for a wide range of deep learning applications. This comprehensive study contributes to a more profound understanding of the underlying mathematical properties of GELU and provides valuable insights for practitioners aiming to select activation functions that optimally align with their specific objectives and constraints in deep learning.

研究の動機と目的

• GELU の微分可能性、有界性、定常性、および滑らかさを含む数学的性質を調査する。
• GELU が正規化手法とどのように相互作用し、学習ダイナミクスに影響を与えるかを理解する。
• 標準的な画像データセット上で、GELU を多様な活性化関数と経験的に比較する。
• 深層学習実践における活性化関数選択への示唆を探る。

提案手法

• 深層ネットワークと活性化関数の形式的な数学的記述を提示する。
• GELU の導関数を導出し、微分可能性と勾配の挙動を確立するために分析する。
• GELU の有界性、正規化を用いた上界、およびリプシッツ連続性を検討する。
• 残差 CNN におけるさまざまな正規化手法（BN、LN、GN）と GELU の効果を評価する。
• CIFAR-10、CIFAR-100、および STL-10 に対して、他の活性化関数と GELU の経験的比較を行う。

Figure 4: Experimental comparison of activation functions with respect to training epoch.

実験結果

リサーチクエスチョン

• RQ1 GELU の厳密な微分可能性、有界性、定常性、滑らかさの特性は何か？
• RQ2 GELU は正規化手法とどのように相互作用して、訓練の安定性と勾配伝播に影響を与えるのか？
• RQ3 標準的な画像分類ベンチマークで、GELU は代替の活性化関数と経験的にどのように比較されるか？

主な発見

• GELU は至る所で微分可能であり、正規化によって上昇が制御される有界な負領域を有する。
• GELU の導関数は閉形式で表現でき、安定した勾配ベースの最適化を支持する。
• GELU の前に正規化を適用すると活性化に上界が生じ、安定した学習に寄与する。
• GELU は CIFAR-10、CIFAR-100、および STL-10 において、残差 CNN のベースライン全体で他の活性化関数と比較して好ましい性能を示す。
• GELU は導関数の上限を伴うリップシッツ連続性を達成し、最適化景観の挙動を良好にする。