[论文解读] Activation function impact on Sparse Neural Networks
本研究调查了在CIFAR-10数据集上通过稀疏进化训练（SET）训练的稀疏神经网络（SNNs）中，激活函数对模型性能的影响。研究发现，SReLU在所有稀疏度水平下均持续优于其他激活函数；ReLU和Softplus在中等稀疏度（71.2%和88.5%）时达到峰值性能；SELU在极端稀疏度（98.85%）时表现最佳。
While the concept of a Sparse Neural Network has been researched for some time, researchers have only recently made notable progress in the matter. Techniques like Sparse Evolutionary Training allow for significantly lower computational complexity when compared to fully connected models by reducing redundant connections. That typically takes place in an iterative process of weight creation and removal during network training. Although there have been numerous approaches to optimize the redistribution of the removed weights, there seems to be little or no study on the effect of activation functions on the performance of the Sparse Networks. This research provides insights into the relationship between the activation function used and the network performance at various sparsity levels.
研究动机与目标
- 调查不同激活函数在不同稀疏度水平下对稀疏神经网络（SNNs）性能的影响。
- 确定在密集网络中常用的激活函数在稀疏架构中是否依然有效。
- 分析在不同稀疏度水平下，各类激活函数的过拟合行为。
- 识别出能提升模型准确率与泛化能力的最优激活函数-稀疏度组合。
- 为研究人员和实践者在SNN实现中选择激活函数提供实证指导。
提出的方法
- 在七种激活函数（ReLU、Sigmoid、SELU、SReLU、Tanh、Softplus和Softsign）上进行了稀疏度扫描。
- 在CIFAR-10数据集上，使用稀疏进化训练（SET）算法，在五个稀疏度水平（71.2%至98.85%）和一个密集基线水平下训练模型。
- 通过训练周期中的验证准确率和损失函数得分来衡量模型性能。
- 通过比较不同激活函数与稀疏度水平下训练与验证性能的趋势，分析过拟合问题。
- 通过准确率和过拟合图表可视化结果，以比较不同稀疏度水平下各类函数的行为。
- 采用标准化训练框架，确保对SNN中激活函数影响的一致评估。
实验结果
研究问题
- RQ1RQ1：激活函数对SNN的稀疏度扫描和准确率有何影响？
- RQ2RQ2：在SNN实现中是否存在一种应优先选择的激活函数？
- RQ3RQ3：过拟合问题是否以不同方式影响使用各类激活函数的SNN？
- RQ4RQ4：激活函数在不同稀疏度水平下的准确率与泛化能力表现如何？
- RQ5RQ5：在稀疏设置中，不同激活函数性能差异的潜在原因是什么？
主要发现
- SReLU在所有稀疏度水平下均达到最高准确率，表现出一致且稳健的性能。
- ReLU和Softplus分别在71.2%和88.5%的稀疏度下达到峰值准确率，优于其密集对应模型。
- SELU在最高稀疏度（98.85%）时表现最佳，但在密集水平下因学习率过高而表现出不稳定的训练行为。
- Sigmoid的性能随稀疏度增加而下降，可能由于其非零中心特性及饱和问题。
- 随着稀疏度增加，过拟合程度降低，ReLU和SReLU表现出最持久的过拟合，而Softplus受稀疏度正则化影响最大。
- 在极端稀疏度（98.85%）下，所有激活函数均表现出欠拟合，表明仅靠稀疏化无法无限提升性能。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。