[논문 리뷰] Activation Functions in Artificial Neural Networks: A Systematic Overview

Johannes Lederer|arXiv (Cornell University)|2021. 01. 25.

Neural Networks and Applications참고 문헌 32인용 수 44

한 줄 요약

이 논문은 일반적인 활성화 함수의 포괄적이고 분석적인 고찰을 제공하며, 그 수학적 특성(일阶 및 이阶 도함수 포함)과 신경망에서의 표현력과 최적화에 대한 실용적 함의를 다룬다.

ABSTRACT

Activation functions shape the outputs of artificial neurons and, therefore, are integral parts of neural networks in general and deep learning in particular. Some activation functions, such as logistic and relu, have been used for many decades. But with deep learning becoming a mainstream research topic, new activation functions have mushroomed, leading to confusion in both theory and practice. This paper provides an analytic yet up-to-date overview of popular activation functions and their properties, which makes it a timely resource for anyone who studies or applies neural networks.

연구 동기 및 목표

• 활성화 함수의 옵션이 급증하는 상황에서 체계적이고 객관적인 개요의 필요성을 동기화한다.
• 일반적인 활성화 함수의 수학적 특성(도함수 및 곡률 포함)을 요약한다.
• 네트워크 표현력, 최적화 비용 및 이론적 분석에 대한 실용적 함의를 논의한다.
• 활성화 선택이 학습 역학에 미치는 영향을 이론가와 실무자 모두를 위해 안내한다.

제안 방법

• 활성화 함수와 그 도함수(일阶 및 이阶) 및 방향 도함수를 정의한다.
• 시그모이드 유형 활성화(로지스틱, arctan, tanh, softsign)”의 분류와 그 특성을 분석한다.
• 활성화 도함수가 최적화 알고리즘(예: SGD) 및 계산 비용에 미치는 함의를 논의한다.
• 활성화 선택이 네트워크 표현력(예: 선형 대 비선형 네트워크) 및 이론적 고려에 어떤 영향을 미치는지 설명한다.

실험 결과

연구 질문

• RQ1 일반적인 활성화 함수는 무엇이며 그 주요 수학적 특성은 무엇인가?
• RQ2 활성화 함수와 그 도함수는 신경망의 표현력과 최적화에 어떤 영향을 미치는가?
• RQ3 다양한 활성화 선택으로부터 얻는 학습 역학 및 이론에 대한 실용적 함의는 무엇인가?
• RQ4 선형 활성화가 네트워크가 함수를 근사하는 능력에 어떻게 영향을 미치는가?
• RQ5 깊은 학습에서 활성화 함수를 선택하는 실무자들을 위한 가이드는 무엇인가?

주요 결과

• 활성화 함수는 네트워크 출력을 형성하고 표현력과 최적화 복잡도 모두에 영향을 준다.
• 활성화 함수의 일阶 및 이阶 도함수가 기울기 기반 최적화와 이론적 분석에 영향을 준다.
• 선형 활성화 네트워크는 본질적으로 선형이며 비선형 목표 함수를 근사할 수 없으므로 표현력에서 비선형성의 역할을 강조한다.
• 시그모이드 유형 활성화(logistic, arctan, tanh, softsign)은 단단한 임계값보다 매끄럽고 경계가 있는 대안을 제공하며 출력 범위에서 주로 차이가 있다.
• 로지스틱 활성화는 이진 스텝의 매끄러운 근사로 작용하며 모든 도함수가 매끄럽고 잘 정의된다.
• 본 연구는 활성화 함수의 객관적이고 수학적 평가를 핵심으로 하며, 증명 및 부록이 엄밀한 뒷받침을 제공한다.