[논문 리뷰] Three Decades of Activations: A Comprehensive Survey of 400 Activation Functions for Neural Networks

Vladimír Kunc, Jǐŕı Kléma|arXiv (Cornell University)|2024. 02. 14.

Neural Networks and Applications인용 수 14

한 줄 요약

신경망에서 사용되는 400개의 활성화 함수를 30년에 걸쳐 수록하고 논의한 포괄적 조사.

ABSTRACT

Neural networks have proven to be a highly effective tool for solving complex problems in many areas of life. Recently, their importance and practical usability have further been reinforced with the advent of deep learning. One of the important conditions for the success of neural networks is the choice of an appropriate activation function introducing non-linearity into the model. Many types of these functions have been proposed in the literature in the past, but there is no single comprehensive source containing their exhaustive overview. The absence of this overview, even in our experience, leads to redundancy and the unintentional rediscovery of already existing activation functions. To bridge this gap, our paper presents an extensive survey involving 400 activation functions, which is several times larger in scale than previous surveys. Our comprehensive compilation also references these surveys; however, its main goal is to provide the most comprehensive overview and systematization of previously published activation functions with links to their original sources. The secondary aim is to update the current understanding of this family of functions.

연구 동기 및 목표

• 신경망의 방대한 활성화 함수 영역을 분류하고 분석해야 할 필요성을 제고한다.
• 연구자들이 특정 작업에 적합한 활성화 함수를 선택하는 데 도움을 주기 위한 구조화된 분류 체계와 비교 개요를 제공한다.
• 30년에 걸친 활성화 함수 연구의 역사적 발전, 경향 및 격차를 강조한다.

제안 방법

• 문헌에 기반한 400개의 활성화 함수의 광범위한 카탈로그를 수집한다.
• 수학적 특성, 동작 특성 및 실용적 고려사항에 따라 함수들을 분류한다.
• 각 활성화 함수의 핵심 특성, 장점, 한계 및 일반적인 사용 사례를 요약한다.

실험 결과

연구 질문

• RQ1 신경망에서 사용되는 활성화 함수를 정의하는 광범위한 범주와 속성은 무엇인가?
• RQ2 지난 30년간 활성화 함수는 어떻게 진화해 왔으며, 도입과 성능에서 어떤 패턴이 나타나는가?
• RQ3 다른 네트워크 아키텍처와 작업에 대해 활성화 함수를 선택하는 데 실무자에게 어떤 지침을 제공할 수 있는가?
• RQ4 활성화 함수 연구에서 남아 있는 격차나 남은 미해결 질문은 무엇인가?

주요 결과

• 본 논문은 400개의 활성화 함수를 수집하고 체계화하여 연구자들에게 통합된 참조를 제공한다.
• 다양한 신경망 시나리오에서 함수 선택을 용이하게 하는 분류 체계와 비교 관점을 제공한다.
• 조사 연구는 활성화 함수 선택에 영향을 주는 역사적 경향과 실용적 고려사항을 강조한다.
• 문헌의 잠재적 격차와 활성화 함수 설계에서의 향후 탐구 기회를 확인한다.