Skip to main content
QUICK REVIEW

[논문 리뷰] Activation Functions: Comparison of trends in Practice and Research for Deep Learning

Chigozie Nwankpa, Winifred Ijomah|arXiv (Cornell University)|2018. 11. 08.
Advanced Neural Network ApplicationsComputer Science참고 문헌 42인용 수 1,168
한 줄 요약

이 논문은 딥 러닝에서 사용되는 활성화 함수(AFs)를 조사하고, 기존 AF를 정리하며 실전 배치 추세와 문헌 결과를 대조해 응용에서의 함수 선택에 도움을 제공합니다.

ABSTRACT

Deep neural networks have been successfully used in diverse emerging domains to solve real world complex problems with may more deep learning(DL) architectures, being developed to date. To achieve these state-of-the-art performances, the DL architectures use activation functions (AFs), to perform diverse computations between the hidden layers and the output layers of any given DL architecture. This paper presents a survey on the existing AFs used in deep learning applications and highlights the recent trends in the use of the activation functions for deep learning applications. The novelty of this paper is that it compiles majority of the AFs used in DL and outlines the current trends in the applications and usage of these functions in practical deep learning deployments against the state-of-the-art research results. This compilation will aid in making effective decisions in the choice of the most suitable and appropriate activation function for any given application, ready for deployment. This paper is timely because most research papers on AF highlights similar works and results while this paper will be the first, to compile the trends in AF applications in practice against the research results from literature, found in deep learning research to date.

연구 동기 및 목표

  • 딥 러닝에서 사용되는 활성화 함수와 그 역사적 진화를 요약합니다.
  • 다양한 딥 러닝 응용 분야에서의 AF 실전 배치 경향을 강조합니다.
  • 배포 의사 결정을 위한 유형별 AF 및 보고된 장점과 한계의 컴파일된 참고를 제공합니다.

제안 방법

  • 활성화 함수들을 카테고리 및 변형으로 조직하고, AF 계열 전반의 정의 및 수식을 상세히 설명합니다.
  • 문헌 결과를 검토하고 심층 아키텍처에서의 AF 실전 배치 경향을 기록합니다.
  • 특정 작업에 적합한 선택을 안내하기 위해 AF의 성능 특성 및 학습 동향을 비교합니다.

실험 결과

연구 질문

  • RQ1실무와 연구에서 딥 러닝에 일반적으로 사용되는 활성화 함수는 무엇입니까?
  • RQ2도메인 간 AF 사용에서 나타나는 실무와 연구 간의 경향이나 차이는 무엇입니까?
  • RQ3컴파일된 증거를 기반으로 특정 응용에 대해 활성화 함수를 선택하기 위한 지침은 무엇입니까?

주요 결과

  • 이 논문은 Sigmoid, Tanh, ReLU, Leaky ReLU, PReLU, RReLU, SReLU, Softplus, ELU, PELU, SELU, Maxout, Swish, ELiSH, 및 HardELiSH를 포함한 활성화 함수와 변형의 포괄적 목록을 컴파일합니다.
  • 각 AF의 장점과 단점을 논의하여 학습 속도, 그래디언트 동작, 0 중심화 효과와 같은 요소를 배경으로 배치 의사 결정을 돕습니다.
  • 실무 AF 사용과 보고된 연구 결과 간의 격차를 강조하여 배치 맥락에 맞춘 선택을 도모합니다.
  • Swish와 ELiSH와 같은 최신 AF가 정보 흐름 및 학습 역학 측면에서 ReLU와 같은 전통적 기능과 어떻게 비교되는지 강조합니다.
  • AF 선택을 성능과 일반화에 중요한 요인으로 보고 객체 인식, 음성, NLP 등 다양한 작업에서의 적용 맥락에 맞춘 선택의 중요성을 제시합니다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.