[논문 리뷰] Bridging Nonlinearities and Stochastic Regularizers with Gaussian Error Linear Units

Dan Hendrycks, Kevin Gimpel|arXiv (Cornell University)|2016. 06. 27.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 754

한 줄 요약

이 논문은 뉴런 값에 기반해 무작위로 항등 또는 영값 변환을 적용하는 방식으로 확률적 정규화를 모델링하는 새로운 신경망 활성화 함수인 가우시안 오차 선형 유닛(GELU)을 소개한다. 실험 결과 GELU는 여러 작업에서 ReLU와 ELU를 능가하는 성능을 보이며, 비선형성의 확률적 해석을 통해 향상된 성능을 제공한다.

ABSTRACT

We propose the Gaussian Error Linear Unit (GELU), a high-performing neural network activation function. The GELU nonlinearity is the expected transformation of a stochastic regularizer which randomly applies the identity or zero map, combining the intuitions of dropout and zoneout while respecting neuron values. This connection suggests a new probabilistic understanding of nonlinearities. We perform an empirical evaluation of the GELU nonlinearity against the ReLU and ELU activations and find performance improvements across all tasks.

연구 동기 및 목표

• 드롭아웃과 존아웃의 원리를 통합하면서 입력 뉴런 값도 고려하는 새로운 신경망 활성화 함수를 개발하는 것.
• 비선형성을 확률적 정규화기의 기대값으로 모델링함으로써 비선형성의 확률적 해석을 수립하는 것.
• 다양한 기계학습 작업에서 기존의 대안들인 ReLU와 ELU와의 비교를 통해 GELU 활성화 함수의 경험적 평가를 수행하는 것.
• 제안된 함수가 개선된 정규화와 비선형성 덕분에 모델 성능을 향상시킬 수 있음을 보여주는 것.

제안 방법

• GELU 활성화 함수는 입력의 누적분포에 비례하는 확률로 항등 또는 영값 매핑을 적용하는 확률적 정규화기의 기대값으로 정의된다.
• 수학적으로 GELU(x) = x · Φ(x)로 표현되며, 여기서 Φ(x)는 표준 정규 누적분포함수이다.
• 드롭아웃의 통찰을 반영하여 뉴런을 무작위로 마스킹하고 존아웃의 통찰을 반영하여 일부 활성화를 유지하지만, 이를 미분 가능하고 값에 따라 결정되는 방식으로 통합한다.
• 확률적 정규화기는 입력의 크기에 따라 항등 또는 영값 매핑을 선택하는 랜덤 변수로 모델링되며, 이는 부드럽고 확률적으로 기반한 비선형성을 이끈다.
• GELU는 미분 가능하고 연속적인 함수로 구현되어 깊은 신경망에서 엔드 투 엔드 학습이 가능하다.

실험 결과

연구 질문

• RQ1 GELU 활성화 함수는 다양한 작업에서 ReLU와 ELU에 비해 모델 정확도 측면에서 어떻게 비교되는가?
• RQ2 비선형성의 확률적 해석이 확률적 정규화를 통해 신경망 일반화 성능을 향상시킬 수 있는가?
• RQ3 GELU의 값에 의존하는 마스킹 메커니즘이 고정 또는 무작위 마스킹 전략보다 더 나은 성능을 내는가?
• RQ4 연속적이고 미분 가능한 형태로 드롭아웃과 존아웃 원리를 통합하면 모델 성능이 얼마나 향상되는가?

주요 결과

• GELU 활성화 함수는 평가된 모든 작업에서 ReLU와 ELU를 일관되게 능가하는 성능 향상을 달성했다.
• GELU의 확률적 수식은 비선형성을 확률적 정규화기의 기대값으로 모델링함으로써 비선형성의 새로운 이론적 이해를 제공한다.
• 함수의 부드럽고 연속적인 성질은 깊은 네트워크에서 안정적이고 효과적인 역전파를 가능하게 한다.
• 경험적 결과는 GELU의 값에 의존하는 확률적 정규화가 표준 ReLU와 ELU보다 더 나은 일반화 성능을 이끌어낸다는 것을 확인한다.