[논문 리뷰] Effectiveness of Scaled Exponentially-Regularized Linear Units (SERLUs)

Guoqiang Zhang, Haopeng Li|arXiv (Cornell University)|2018. 07. 26.

Neural Networks and Applications참고 문헌 9인용 수 5

한 줄 요약

이 논문은 자기정규화를 향상시키고 과적합을 줄이기 위해 음수 입력 영역에서 종형 곡선 형태의 반응을 도입한 비단조화성 활성화 함수인 스케일드 지수 정규화 레이어 유닛(SERLU)을 제안한다. MNIST, CIFAR10, CIFAR100에서의 실험 결과, SELU, Swish, ReLU를 포함한 다섯 가지 기준 활성화 함수보다 SERLU가 일관되게 높은 정확도와 강건성을 보이며 성능을 뛰어넘었다. 특히 더 깊거나 더 복잡한 데이터셋에서 두드러진 성능 향상을 보였다.

ABSTRACT

Recently, self-normalizing neural networks (SNNs) have been proposed with the intention to avoid batch or weight normalization. The key step in SNNs is to properly scale the exponential linear unit (referred to as SELU) to inherently incorporate normalization based on central limit theory. SELU is a monotonically increasing function, where it has an approximately constant negative output for large negative input. In this work, we propose a new activation function to break the monotonicity property of SELU while still preserving the self-normalizing property. Differently from SELU, the new function introduces a bump-shaped function in the region of negative input by regularizing a linear function with a scaled exponential function, which is referred to as a scaled exponentially-regularized linear unit (SERLU). The bump-shaped function has approximately zero response to large negative input while being able to push the output of SERLU towards zero mean statistically. To effectively combat over-fitting, we develop a so-called shift-dropout for SERLU, which includes standard dropout as a special case. Experimental results on MNIST, CIFAR10 and CIFAR100 show that SERLU-based neural networks provide consistently promising results in comparison to other 5 activation functions including ELU, SELU, Swish, Leakly ReLU and ReLU.

연구 동기 및 목표

• SELU의 단조성은 깨뜨리되 자기정규화 성질을 유지하는 새로운 활성화 함수를 개발하는 것.
• 음수 입력 영역에 종형 곡선 형태의 함수를 도입하여 활성화값의 평균을 0에 가깝게 유지함으로써 학습 수렴 속도 향상과 일반화 성능 향상을 도모하는 것.
• SERLU에 특화된 새로운 드롭아웃 변형인 시프트드롭아웃을 통해 딥 네트워크의 과적합 문제를 해결하는 것.
• 여러 기준 데이터셋(MNIST, CIFAR10, CIFAR100)에서 통합 프레임워크를 통해 SERLU의 성능을 다섯 가지 확립된 활성화 함수와 비교 평가하는 것.

제안 방법

• SERLU는 음수 입력 영역에서 스케일된 지수 함수에 의해 정규화된 선형 함수로 정의되며, 종형 곡선 형태의 활성화 곡선을 형성한다.
• 이 종형 곡선은 큰 음수 입력에 대해 약한 반응을 보이게 설계되었으며, 활성화값의 통계적 평균중심화를 가능하게 한다.
• 기존 드롭아웃을 일반화한 새로운 정규화 기법인 시프트드롭아웃을 도입하였으며, SERLU의 함수 형태에 특화되어 있다.
• 밀도 있는 격자에서 SERLU의 자기정규화 성질을 수치적으로 평가하여 평균과 분산이 0과 1에 가까운 유지 능력을 점검한다.
• 데이터 증강과 RMSProp 최적화를 사용하여 MNIST, CIFAR10, CIFAR100에서 수정된 LeNet 아키텍처를 사용해 실험한다.
• 모든 활성화 함수는 동일한 학습 조건에서 비교되었으며, 드롭아웃 비율은 모든 모델 간 일관되게 유지되었다.

실험 결과

연구 질문

• RQ1 음수 입력 영역에서 종형 곡선 형태의 반응을 가지는 비단조화성 활성화 함수가 SELU와 유사한 자기정규화 성질을 유지할 수 있는가?
• RQ2 음수 입력 영역에 종형 곡선 형태의 함수를 도입함으로써 딥 네트워크의 학습 수렴 속도와 일반화 성능이 향상되는가?
• RQ3 특화된 드롭아웃 기법(시프트드롭아웃)이 SERLU와 함께 사용될 경우 과적합을 효과적으로 억제할 수 있는가?
• RQ4 다양한 데이터셋에서 기존 활성화 함수들인 ReLU, ELU, SELU, Swish, Leaky ReLU와 비교했을 때 SERLU의 성능은 어떠한가?

주요 결과

• 테스트된 여섯 가지 활성화 함수 중에서 SERLU는 CIFAR100에서 최고의 성능을 기록하였고, CIFAR10에서는 두 번째로 높은 성능을 보이며 뛰어난 일반화 능력을 입증했다.
• MNIST에서는 SERLU가 성능이 가장 뛰어난 기준 모델인 Swish와 검증 손실 측면에서 동등한 성능을 보였다.
• 모든 세 가지 데이터셋에서 과적합이 뚜렷하지 않게 일관되게 유망한 결과를 보였으며, 학습 에포크 동안 안정적인 성능 유지가 관찰되었다.
• SERLU의 음수 입력 영역에서의 종형 곡선 반응은 CIFAR10의 학습 곡선을 통해 더 빠른 수렴과 향상된 안정성을 암시한다.
• 시프트드롭아웃은 과적합을 효과적으로 억제하며, SERLU 환경에서 기존 드롭아웃보다 뛰어난 성능을 보여 비단조화성 활성화 함수에 적합한 것으로 나타났다.
• 수치적 평가 결과 SERLU는 테스트된 점들에서 SELU와 유사한 자기정규화 성질을 보였지만, 연속 영역에 대한 이론적 증명은 아직 미해결 상태이다.