[논문 리뷰] GELU Activation Function in Deep Learning: A Comprehensive Mathematical Analysis and Performance

Minhyeok Lee|arXiv (Cornell University)|2023. 05. 20.

Advanced Neural Network Applications인용 수 21

한 줄 요약

이 논문은 GELU 활성 함수의 엄밀한 수학적 분석을 제공하고 그의 성능을 다른 활성 함수들과 비교하며 CIFAR-10/100 및 STL-10에서 잔차 CNN을 사용하여 GELU의 우수한 특성과 효과를 보여준다.

ABSTRACT

Selecting the most suitable activation function is a critical factor in the effectiveness of deep learning models, as it influences their learning capacity, stability, and computational efficiency. In recent years, the Gaussian Error Linear Unit (GELU) activation function has emerged as a dominant method, surpassing traditional functions such as the Rectified Linear Unit (ReLU) in various applications. This study presents a rigorous mathematical investigation of the GELU activation function, exploring its differentiability, boundedness, stationarity, and smoothness properties in detail. Additionally, we conduct an extensive experimental comparison of the GELU function against a broad range of alternative activation functions, utilizing a residual convolutional network trained on the CIFAR-10, CIFAR-100, and STL-10 datasets as the empirical testbed. Our results demonstrate the superior performance of GELU compared to other activation functions, establishing its suitability for a wide range of deep learning applications. This comprehensive study contributes to a more profound understanding of the underlying mathematical properties of GELU and provides valuable insights for practitioners aiming to select activation functions that optimally align with their specific objectives and constraints in deep learning.

연구 동기 및 목표

• GELU의 수학적 성질을 조사한다. 미분 가능성, 경계성, 정상성, 그리고 평활성을 포함하여.
• GELU가 정규화 방법과 상호 작용하여 학습 역학에 미치는 영향을 이해한다.
• 표준 이미지 데이터셋에서 GELU를 다양한 활성 함수와 실험적으로 비교한다.
• 딥러닝 실무에서 활성 함수 선택에 대한 시사점을 탐구한다.

제안 방법

• 심층 네트워크와 활성 함수에 대한 형식적 수학적 기술을 제시한다.
• GELU 미분값을 유도하고 분석하여 미분가능성과 그래디언트 동작을 확립한다.
• GELU의 경계성, normalization에 의한 상한, 그리고 Lipschitz 연속성을 검토한다.
• 잔차 CNN에서 GELU의 다양한 정규화 기법(BN, LN, GN)과의 효과를 평가한다.
• CIFAR-10, CIFAR-100, STL-10에서 GELU를 다른 활성 함수들과 실험적으로 비교한다.

Figure 4: Experimental comparison of activation functions with respect to training epoch.

실험 결과

연구 질문

• RQ1 GELU의 정확한 미분가능성, 경계성, 정상성, 그리고 평활성은 무엇인가?
• RQ2 GELU가 정규화 방법과 어떤 상호 작용을 하여 학습 안정성과 그래디언트 전파에 영향을 미치는가?
• RQ3 GELU가 표준 이미지 분류 벤치마크에서 대체 활성 함수들과 실험적으로 어떻게 비교되는가?

주요 결과

• GELU는 모든 위치에서 미분 가능하고 음의 영역이 한정되어 있으며 상향 증가가 정규화에 의해 제어된다.
• GELU의 도함수는 닫힌 형태로 표현될 수 있어 안정적인 그래디언트 기반 최적화를 뒷받침한다.
• GELU 이전의 정규화는 활성값에 상한을 부여하여 안정적인 학습에 기여한다.
• GELU는 잔차 CNN 베이스라인에서 CIFAR-10, CIFAR-100, STL-10에 걸쳐 다른 활성 함수에 비해 우수한 성능을 보인다.
• GELU는 도함수의 상한을 갖는 Lipschitz 연속성을 달성하여 잘 정돈된 최적화 지형에 기여한다.