[论文解读] Empirical analysis of non-linear activation functions for Deep Neural Networks in classification tasks

Giovanni Alcantara|arXiv (Cornell University)|Oct 30, 2017

Adversarial Robustness in Machine Learning参考文献 6被引用 15

一句话总结

本论文在固定超参数和深度变化的条件下，对深度神经网络中的五种非线性激活函数——Sigmoid、ReLU、Leaky ReLU、ELU 和 SELU——在 MNIST 图像分类任务中进行了实证评估。结果表明，ELU 表现最优，最佳性能配置为：3 个隐藏层、0.02 的学习率、早停策略以及 Glorot 均匀权重初始化，测试准确率达到 97.9%。

ABSTRACT

We provide an overview of several non-linear activation functions in a neural network architecture that have proven successful in many machine learning applications. We conduct an empirical analysis on the effectiveness of using these function on the MNIST classification task, with the aim of clarifying which functions produce the best results overall. Based on this first set of results, we examine the effects of building deeper architectures with an increasing number of hidden layers. We also survey the impact of using, on the same task, different initialisation schemes for the weights of our neural network. Using these sets of experiments as a base, we conclude by providing a optimal neural network architecture that yields impressive results in accuracy on the MNIST classification task.

研究动机与目标

• 评估主要非线性激活函数在深度神经网络图像分类任务中的实证性能。
• 在受控训练条件下，确定 MNIST 数据集下最优的激活函数。
• 研究网络深度和权重初始化方案对模型准确率与泛化能力的影响。
• 识别结合激活函数、学习率、深度和初始化的最佳模型配置。

提出的方法

• 在 MNIST 数据集（60,000 张训练图像和 10,000 张验证图像）上对五种激活函数——Sigmoid、ReLU、Leaky ReLU、ELU 和 SELU——进行实证评估。
• 固定训练设置：100 个周期，批量大小为 50，学习率分别为 0.02、0.05 和 0.10，以及两隐藏层的基线架构。
• 系统性消融研究：将隐藏层数从 2 层增加到 8 层，并测试三种权重初始化方案：Glorot、fan-in 和 fan-out。
• 使用早停策略以减轻深层模型的过拟合问题，尤其针对深层架构。
• 评估指标包括验证误差、训练与验证准确率，以及所有周期的学习曲线。
• 基于最终验证准确率和收敛行为，对比不同激活函数的表现。

实验结果

研究问题

• RQ1 在相同训练条件下，哪种非线性激活函数在 MNIST 数据集上实现最高的分类准确率？
• RQ2 增加隐藏层数量如何影响模型性能与泛化能力，尤其是与过拟合的关系？
• RQ3 不同的权重初始化方案（Glorot、fan-in、fan-out）如何影响训练稳定性和最终模型准确率？
• RQ4 早停策略能否提升深层网络的验证准确率？若能，提升幅度如何？

主要发现

• ELU 在所有测试的激活函数中实现了最高的最终验证准确率 97.9%，优于 ReLU、Leaky ReLU、SELU 和 Sigmoid。
• 采用 ELU 激活函数的 3 层隐藏结构比两层基线模型表现更优，表明其具有更强的表征能力。
• Glorot/Xavier 均匀权重初始化方案始终优于 fan-in 和 fan-out 初始化，实现了最低的验证误差和最高的准确率。
• 深层架构（最多 8 层）在第 100 个周期时表现出更高的验证误差，表明存在更严重的过拟合，而早停策略有效缓解了该问题。
• 学习率 0.02 在收敛速度与准确率之间实现了最佳平衡，而 0.10 导致所有激活函数均出现不稳定和性能下降。
• 最优模型配置——ELU 激活函数、学习率 0.02、3 个隐藏层、Glorot 初始化和早停策略——实现了 97.9% 的测试准确率，展现出卓越的泛化能力。