[논문 리뷰] A Comprehensive Survey and Performance Analysis of Activation Functions in Deep Learning.

Shiv Ram Dubey, Satish Kumar Singh외 1명|arXiv (Cornell University)|2021. 09. 29.

Advanced Neural Network Applications참고 문헌 153인용 수 17

한 줄 요약

이 논문은 다양한 딥러닝 아키텍처와 데이터셋에서 18종의 최신 활성화 함수(Activation Functions, AFs)에 대한 종합적인 서베이와 실험적 성능 분석을 제시한다. AFs는 출력 범위, 부드러움, 단조성 등의 핵심 성질을 기반으로 평가되며, 다양한 작업에 대한 행동 양상과 적합성에 대한 통찰을 제공한다. 코드는 재현 가능성을 위해 공개되었다.

ABSTRACT

Neural networks have shown tremendous growth in recent years to solve numerous problems. Various types of neural networks have been introduced to deal with different types of problems. However, the main goal of any neural network is to transform the non-linearly separable input data into more linearly separable abstract features using a hierarchy of layers. These layers are combinations of linear and nonlinear functions. The most popular and common non-linearity layers are activation functions (AFs), such as Logistic Sigmoid, Tanh, ReLU, ELU, Swish and Mish. In this paper, a comprehensive overview and survey is presented for AFs in neural networks for deep learning. Different classes of AFs such as Logistic Sigmoid and Tanh based, ReLU based, ELU based, and Learning based are covered. Several characteristics of AFs such as output range, monotonicity, and smoothness are also pointed out. A performance comparison is also performed among 18 state-of-the-art AFs with different networks on different types of data. The insights of AFs are presented to benefit the researchers for doing further research and practitioners to select among different choices. The code used for experimental comparison is released at: \url{this https URL}.

연구 동기 및 목표

• 딥 네ural 웹워크에서 사용되는 주요 활성화 함수 클래스에 대한 체계적인 개요 제공
• 출력 범위, 단조성, 부드러움 등 활성화 함수의 핵심 특성 분석
• 다양한 네트워크 아키텍처와 데이터셋에서 18종의 최신 활성화 함수의 실험적 성능 비교
• 문제에 따라 요구되는 조건에 맞춰 최적의 활성화 함수를 선택하는 데 도움을 주기 위한 가이드 제공
• 재현 가능성과 향후 활성화 함수 성능 벤치마킹을 위한 코드 공개

제안 방법

• 로지스틱 시그모이드/탄젠트 기반, ReLU 기반, ELU 기반, 학습 기반 AFs의 네 가지 주요 클래스로 활성화 함수 분류
• 출력 범위, 단조성, 부드러움 등의 활성화 함수 성질을 체계적으로 분석하여 네트워크 행동에 미치는 영향 이해
• 일반화 및 정확도 평가를 위해 다양한 딥러닝 모델과 데이터셋에서 18종의 SOTA 활성화 함수에 대한 실험적 평가 수행
• CNNs, MLPs 등의 다양한 네트워크 유형과 이미지, 테이블러 데이터 등의 다양한 데이터 유형 간 성능 비교를 통해 내구성과 적응 가능성 평가
• 공정하고 재현 가능한 비교를 보장하기 위해 표준화된 훈련 프로토콜과 메트릭 사용
• 실험 코드를 오픈소스로 공개하여 커뮤니티의 재사용과 확장 가능성을 보장

실험 결과

연구 질문

• RQ1 다양한 딥러닝 작업에서, 예를 들어 ReLU 기반, Swish, Mish 등의 활성화 함수 클래스 간 성능 비교는 어떻게 이루어지나?
• RQ2 모델 정확도와 수렴 속도에 가장 큰 영향을 미치는 활성화 함수 성질은 무엇인가? (예: 부드러움, 출력 범위, 단조성)
• RQ3 활성화 함수는 다양한 네트워크 아키텍처와 데이터 유형(예: 이미지 대비 테이블러 데이터)에서 어떻게 성능을 발휘하는가?
• RQ4 수작업 설계된 활성화 함수에 비해 학습 기반 활성화 함수의 상대적 강점과 약점은 무엇인가?
• RQ5 성능, 훈련 안정성, 계산 효율성 간의 최적 트레이드오프를 제공하는 활성화 함수는 무엇인가?

주요 결과

• ReLU 기반 활성화 함수, 특히 ReLU 및 그 변종은 계산 효율성과 흐린 성질 덕분에 대부분의 벤치마크에서 뛰어난 성능을 지속적으로 기록한다.
• Swish와 Mish는 특히 부드러움과 비단조성 성질이 유리한 일부 비전 및 NLP 작업에서 뛰어난 성능을 보였다.
• ELU 기반 함수는 깊이 있는 네트워크, 특히 컨볼루션 아키텍처에서 수렴 속도 향상과 정확도 향상을 보였다.
• 학습 기반 활성화 함수는 유연성은 있지만, 수작업 설계된 것들보다 항상 뛰어나지 않으며, 일반적으로 더 많은 하이퍼파라미터 튜닝이 필요했다.
• 활성화 함수의 선택은 모델 성능에 큰 영향을 미치며, 어떤 AF도 모든 아키텍처와 데이터셋에서 최적의 성능을 보이지 않는다.
• 부드러움과 출력 범위는 특히 더 깊은 네트워크에서 훈련 안정성과 최종 정확도에 결정적인 영향을 미치는 것으로 밝혀졌다.