[논문 리뷰] Activation function impact on Sparse Neural Networks

Adam Dubowski|arXiv (Cornell University)|2020. 10. 12.

Neural Networks and Applications참고 문헌 22인용 수 7

한 줄 요약

이 연구는 CIFAR-10 데이터셋에서 Sparse Evolutionary Training(SET)를 통해 훈련된 희소 신경망(SNNs)에 대한 활성화 함수의 영향을 조사한다. 모든 희소성 수준에서 SReLU가 일관되게 다른 활성화 함수보다 뛰어난 성능을 보이며, ReLU와 Softplus는 중간 희소성(71.2% 및 88.5%)에서 최고 성능을 발휘하고, SELU는 극단적 희소성(98.85%)에서 가장 우수한 성능을 보인다.

ABSTRACT

While the concept of a Sparse Neural Network has been researched for some time, researchers have only recently made notable progress in the matter. Techniques like Sparse Evolutionary Training allow for significantly lower computational complexity when compared to fully connected models by reducing redundant connections. That typically takes place in an iterative process of weight creation and removal during network training. Although there have been numerous approaches to optimize the redistribution of the removed weights, there seems to be little or no study on the effect of activation functions on the performance of the Sparse Networks. This research provides insights into the relationship between the activation function used and the network performance at various sparsity levels.

연구 동기 및 목표

• 다양한 희소성 수준에서 희소 신경망(SNNs)의 성능에 미치는 다양한 활성화 함수의 영향을 조사하는 것.
• 밀도 네트워크에서 일반적으로 사용되는 활성화 함수가 희소 아키텍처에서도 여전히 효과적인지 확인하는 것.
• 다양한 희소성 수준에서 활성화 함수 간의 과적합 행동을 분석하는 것.
• 모델 정확도와 일반화를 향상시키기 위한 최적의 활성화 함수-희소성 조합을 특정하는 것.
• 연구자 및 실무자들이 SNN 구현에서 활성화 함수를 선택할 때 실증적 지침을 제공하는 것.

제안 방법

• ReLU, 시그모이드, SELU, SReLU, 탄젠트, 소프트플러스, 소프트시그너의 7개 활성화 함수에 대해 희소성 스윕을 수행하였다.
• CIFAR-10 데이터셋에서 5개의 희소성 수준(71.2%에서 98.85%)과 하나의 밀도 기준선에서 SET 알고리즘을 사용해 모델을 훈련시켰다.
• 훈련 에포크 동안 검증 정확도 및 손실 함수 점수를 측정하여 모델 성능을 평가하였다.
• 각 활성화 함수와 희소성 수준에서 훈련 및 검증 성능 추세를 비교하여 과적합을 분석하였다.
• 정확도 및 과적합 차트를 시각화하여 다양한 희소성 수준에서 기능적 행동을 비교하였다.
• 일관된 SNN에서 활성화 함수의 영향을 평가하기 위해 표준화된 훈련 프레임워크를 사용하였다.

실험 결과

연구 질문

• RQ1 RQ1: 활성화 함수는 SNN의 희소성 스윕과 정확도에 어떤 영향을 미치는가?
• RQ2 RQ2: SNN 구현에서 유일한 활성화 함수를 선호할 만한가?
• RQ3 RQ3: 과적합 문제는 다양한 활성화 함수를 가진 SNN에 다르게 영향을 미치는가?
• RQ4 RQ4: 정확도와 일반화 측면에서 활성화 함수는 다양한 희소성 수준에서 어떻게 성능을 발휘하는가?
• RQ5 RQ5: 희소 환경에서 활성화 함수 간 성능 차이의 근본적인 이유는 무엇인가?

주요 결과

• SReLU는 모든 희소성 수준에서 가장 높은 정확도를 기록하여 일관되고 강건한 성능을 보였다.
• ReLU와 Softplus는 각각 71.2% 및 88.5%의 희소성 수준에서 최고 정확도를 기록했으며, 밀도 기반 대비 뛰어난 성능을 보였다.
• SELU는 가장 높은 희소성 수준(98.85%)에서 가장 우수한 성능을 보였지만, 높은 학습률로 인해 밀도 수준에서는 안정성 없는 훈련 행동을 보였다.
• 시그모이드는 희소성 증가에 따라 성능이 저하되었으며, 이는 비영점 중심 성향과 포화 문제 때문일 가능성이 높다.
• 희소성 증가에 따라 과적합이 감소했으며, ReLU와 SReLU는 가장 지속적인 과적합을 보였고, Softplus는 희소성 유도 정규화에 가장 큰 영향을 받았다.
• 극도의 희소성(98.85%)에서는 모든 활성화 함수가 과소적합을 보였으며, 이는 희소성만으로 성능 향상을 극복할 수 있는 한계를 시사한다.