[논문 리뷰] A survey on recently proposed activation functions for Deep Learning

Murilo Gustineli|arXiv (Cornell University)|2022. 04. 06.

Neural Networks and Applications인용 수 6

한 줄 요약

이 종합 검토는 최근에 제안된 활성화 함수를 검토하며, 특히 XOR 함수를 수동 특징 공학 없이 단일 뉴런에서 학습할 수 있도록 해주는 새로운 진동형 함수인 NCU, SQU, DSU, SSU에 초점을 맞춘다. 이러한 생물학적으로 영감을 받은 함수들은 훈련 시간을 단축시키고 뉴런 수를 줄이며 벤치마크 과제에서 수렴성을 향상시켜 표준 활성화 함수보다 뛰어난 성능을 보인다.

ABSTRACT

Artificial neural networks (ANN), typically referred to as neural networks, are a class of Machine Learning algorithms and have achieved widespread success, having been inspired by the biological structure of the human brain. Neural networks are inherently powerful due to their ability to learn complex function approximations from data. This generalization ability has been able to impact multidisciplinary areas involving image recognition, speech recognition, natural language processing, and others. Activation functions are a crucial sub-component of neural networks. They define the output of a node in the network given a set of inputs. This survey discusses the main concepts of activation functions in neural networks, including; a brief introduction to deep neural networks, a summary of what are activation functions and how they are used in neural networks, their most common properties, the different types of activation functions, some of the challenges, limitations, and alternative solutions faced by activation functions, concluding with the final remarks.

연구 동기 및 목표

• 기존 활성화 함수의 한계, 예를 들어 기울기 소멸 문제와 죽은 뉴런 문제를 분석하기 위해.
• 진동형 활성화 함수가 인공신경망과 생물학적 신경망 간의 성능 격차를 줄이는 데 어떤 잠재력을 지니고 있는지 조사하기 위해.
• 생물학적으로 영감을 받은 진동형 함수가 더 적은 뉴런과 더 빠른 수렴성을 통해 XOR 분류와 같은 복잡한 과제를 해결할 수 있는지 평가하기 위해.
• 표준 활성화 함수(예: ReLU, Swish, Mish)와 비교하여 신규 진동형 함수가 벤치마크 분류 과제에서 성능을 어떻게 뛰어나게 하는지 비교하기 위해.
• 딥 신경망 내에서 진동형 함수의 계산 효율성과 훈련 효율성을 탐색하기 위해.

제안 방법

• 비단조화 큐빅 유닛(NCU), 시프트드 폴리노미얼 유닛(SQU), 감쇠 사인 유닛(DSU), 시프트드 싱크 유닛(SSU)의 네 가지 새로운 진동형 활성화 함수를 제안하며, 각각 고유한 수학적 표현을 가진다.
• 분류 과제에서 성능를 평가하기 위해 3~4개의 합성곱 층을 포함한 ReLU 기반의 네트워크 아키텍처를 사용한다.
• 표준 훈련 프로토콜을 사용하여 확률적 경사 하강법과 교차 엔트로피 손실을 적용해 수렴 속도와 정확도를 비교한다.
• 기울기 소멸 문제 완화 능력을 평가하기 위해 활성화 함수의 도함수 행동을 분석한다.
• 가중치 갱신 효율성에 미치는 영향을 평가하기 위해 신규 함수의 영점 중심화 및 유계성 성질을 평가한다.
• 동일한 초모수를 사용하여 여러 데이터셋과 네트워크 깊이에서 훈련 동역학과 최종 정확도를 비교한다.

실험 결과

연구 질문

• RQ1 NCU, SQU, DSU, SSU와 같은 진동형 활성화 함수는 외부 특징 공학 없이도 단일 인공 뉴런이 XOR 함수를 학습할 수 있는가?
• RQ2 진동형 활성화 함수는 분류 과제에서 표준 활성화 함수(예: ReLU, Swish, Mish)와 비교해 훈련 속도와 수렴성 측면에서 어떻게 다른가?
• RQ3 진동형 함수는 딥 네트워크에서 필요한 뉴런 수와 층 수를 어느 정도 줄일 수 있는가?
• RQ4 진동형 함수는 기존 활성화 함수보다 더 적은 훈련 에포크 수로도 높은 정확도를 유지하는가?
• RQ5 진동형 활성화 함수는 복잡한 비선형으로 분리 가능한 함수를 학습하는 데서 인공신경망과 생물학적 신경망 간의 성능 격차를 줄이는 데 기여하는가?

주요 결과

• 진동형 활성화 함수인 NCU, SQU, DSU, SSU는 표준 활성화 함수를 사용할 경우 최소 3개의 뉴런이 필요한 XOR 함수를 단일 뉴런에서 학습할 수 있다.
• 진동형 활성화 함수를 사용한 네트워크는 3층 합성곱 네트워크에서 20 에포크 내에 수렴하면서 68% 이상의 정확도를 유지한다.
• SQU 활성화 함수는 훈련 에포크 수를 줄여도 높은 정확도를 유지하여 훈련 효율성이 향상됨을 보여준다.
• 진동형 활성화 함수는 분류 과제에서 동일한 성능를 달성하기 위해 필요한 뉴런 수를 줄이고 훈련 시간을 단축시키는 데 표준 활성화 함수보다 뛰어나다.
• 이 함수들은 더 넓은 입력 범위에서 더 큰 도함수 값을 가지므로 기울기 흐름이 향상되어 기울기 소멸 문제를 완화한다.
• 이 연구는 진동형 활성화 함수가 인간 피각 뉴런에서 관찰되는 진동 행동을 모방함으로써 인공신경망과 생물학적 신경망 간의 성능 격차를 줄일 수 있을 것이라 제안한다.