[논문 리뷰] Biologically Inspired Oscillating Activation Functions Can Bridge the Performance Gap between Biological and Artificial Neurons

Matthew Mithra Noel, Shubham Bharadwaj외 3명|arXiv (Cornell University)|2021. 11. 07.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 생물학적으로 영감을 얻은 네 가지 새로운 진동형 활성화 함수—SQU, NCU, SSU, DSU—를 제안하며, 이는 다수의 결정 초평면을 활용하여 개별 인공 신경망이 XOR 함수를 학습할 수 있도록 한다. 이러한 포화되지 않는 함수들은 기울기 흐름을 향상시키고 학습 속도를 가속화하며, CIFAR-10, CIFAR-100, ImageNet 벤치마크에서 모든 표준 활성화 함수를 능가한다. 이로 인해 네트워크의 깊이와 파라미터 수를 크게 줄이고 정확도를 향상시킨다.

ABSTRACT

The recent discovery of special human neocortical pyramidal neurons that can individually learn the XOR function highlights the significant performance gap between biological and artificial neurons. The output of these pyramidal neurons first increases to a maximum with input and then decreases. Artificial neurons with similar characteristics can be designed with oscillating activation functions. Oscillating activation functions have multiple zeros allowing single neurons to have multiple hyper-planes in their decision boundary. This enables even single neurons to learn the XOR function. This paper proposes four new oscillating activation functions inspired by human pyramidal neurons that can also individually learn the XOR function. Oscillating activation functions are non-saturating for all inputs unlike popular activation functions, leading to improved gradient flow and faster convergence. Using oscillating activation functions instead of popular monotonic or non-monotonic single-zero activation functions enables neural networks to train faster and solve classification problems with fewer layers. An extensive comparison of 23 activation functions on CIFAR 10, CIFAR 100, and Imagentte benchmarks is presented and the oscillating activation functions proposed in this paper are shown to outperform all known popular activation functions.

연구 동기 및 목표

• 인간 신경피질 피라미드 신경세포에서 관찰되는 진동형 활성화 동역학을 모방함으로써 생물학적 신경망과 인공 신경망 간의 성능 격차를 해소한다.
• 다중 영역의 영점이 있는 비포화 활성화 함수를 설계하여, 다층 구조 없이도 XOR과 같은 비선형적으로 분리 가능한 작업을 단일 신경망이 학습할 수 있도록 한다.
• 단조적이거나 단일 영점이 있는 활성화 함수를 진동형 대체 함수로 대체함으로써 기울기 흐름과 학습 속도를 향상시킨다.
• 진동형 활성화 함수가 더 깊은 네트워크에서 더 높은 정확도를 달성하면서도 층 수와 파라미터 수를 줄일 수 있음을 입증한다.

제안 방법

• 인간 피라미드 신경세포의 진동형 발화 패tern에서 영감을 얻어, SQU, NCU, SSU, DSU라는 네 가지 새로운 진동형 활성화 함수를 제안한다.
• 결정 경계에 다수의 초평면을 가질 수 있도록 다수의 영점을 가진 함수를 설계함으로써, 단일 신경망이 XOR 학습을 가능하게 한다.
• 기울기 기반 역전파 과정에서 기울기 흐름을 향상시키기 위해 유사한 도함수 영역을 피함으로써 비포화 행동을 보장한다.
• 표준화된 CNN 아키텍처를 사용하여 CIFAR-10, CIFAR-100, ImageNet에서 23개의 활성화 함수(ReLU, Swish, Mish, SiLU 포함)를 학습하고 평가한다.
• 벤치마크 간 평균 순위를 통해 성능를 비교하고, 정확도 대 비용(깊이)의 관계를 분석함으로써 표현 효율성을 평가한다.
• 실증적 학습 곡선과 아블레이션 연구를 통해 진동형 함수가 더 빠른 수렴과 뛰어난 일반화 성능을 보임을 검증한다.

실험 결과

연구 질문

• RQ1 진동형 활성화 함수를 가진 인공 신경망이 생물학적 피라미드 신경세포를 모방하여 단일 신경망으로 XOR 함수를 학습할 수 있는가?
• RQ2 표준 비포화 활성화 함수(예: ReLU, Swish)와 비교해 진동형 활성화 함수가 기울기 흐름을 향상시키고 학습 속도를 가속화하는가?
• RQ3 진동형 활성화 함수를 사용하는 네트워크가 표준 활성화 함수를 사용하는 네트워크보다 더 적은 층 수와 파라미터 수로 더 높은 정확도를 달성할 수 있는가?
• RQ4 진동형 활성화 함수가 CIFAR-10, CIFAR-100, ImageNet과 같은 표준 이미지 분류 벤치마크에서 알려진 모든 인기 있는 활성화 함수를 능가하는가?
• RQ5 진동형 활성화 함수는 개별 신경망의 표현 능력을 향상시켜 깊은 아키텍처의 필요성을 얼마나 줄이는가?

주요 결과

• 제안된 진동형 활성화 함수—SQU, NCU, SSU, DSU—는 표준 ReLU나 시그모이드 신경망이 불가능한 XOR 함수를 단일 신경망에서 학습할 수 있도록 한다.
• CIFAR-10 벤치마크에서 SQU는 평균 순위 1.000을 기록하여 모든 다른 활성화 함수를 능가했다.
• CIFAR-100에서 GCU와 NCU는 각각 평균 순위 1.000과 2.667로 상위 두 개를 차지했다.
• ImageNet에서 GCU와 DSU는 각각 평균 순위 1.000과 3.000으로 1위와 2위를 차지하여 뛰어난 일반화 성능을 입증했다.
• 진동형 활성화 함수를 사용하는 네트워크는 더 빠른 학습 속도를 기록했고, 더 적은 층 수로 더 높은 정확도를 달성하여 표현 효율성이 향상됨을 시사한다.
• 모든 벤치마크에서 ReLU, Swish, Mish, SELU와 비교해 SQU와 GCU가 일관되게 상위 3위 이내에 랭크되어 뚜렷한 승리를 거두었다.