[论文解读] Effectiveness of Scaled Exponentially-Regularized Linear Units (SERLUs)

Guoqiang Zhang, Haopeng Li|arXiv (Cornell University)|Jul 26, 2018

Neural Networks and Applications参考文献 9被引用 5

一句话总结

本文提出了一种缩放指数正则化线性单元（SERLU），这是一种非单调激活函数，在负输入区域引入了驼峰形状的响应，以增强自归一化并减少过拟合。在MNIST、CIFAR10和CIFAR100上的实验表明，SERLU在准确率和鲁棒性方面均优于五种基线激活函数（包括SELU、Swish和ReLU），尤其在更深或更复杂的数据集上表现出一致的性能提升。

ABSTRACT

Recently, self-normalizing neural networks (SNNs) have been proposed with the intention to avoid batch or weight normalization. The key step in SNNs is to properly scale the exponential linear unit (referred to as SELU) to inherently incorporate normalization based on central limit theory. SELU is a monotonically increasing function, where it has an approximately constant negative output for large negative input. In this work, we propose a new activation function to break the monotonicity property of SELU while still preserving the self-normalizing property. Differently from SELU, the new function introduces a bump-shaped function in the region of negative input by regularizing a linear function with a scaled exponential function, which is referred to as a scaled exponentially-regularized linear unit (SERLU). The bump-shaped function has approximately zero response to large negative input while being able to push the output of SERLU towards zero mean statistically. To effectively combat over-fitting, we develop a so-called shift-dropout for SERLU, which includes standard dropout as a special case. Experimental results on MNIST, CIFAR10 and CIFAR100 show that SERLU-based neural networks provide consistently promising results in comparison to other 5 activation functions including ELU, SELU, Swish, Leakly ReLU and ReLU.

研究动机与目标

• 开发一种新型激活函数，打破SELU的单调性，同时保留其自归一化特性。
• 通过在负输入区域引入驼峰形状函数，推动激活值趋向零均值，从而改善训练收敛性和泛化能力。
• 通过一种专为SERLU设计的新正则化技术——shift-dropout，有效缓解深层网络中的过拟合问题。
• 在统一框架下，针对多个基准数据集（MNIST、CIFAR10、CIFAR100）对SERLU的性能进行全面评估，并与五种成熟的激活函数进行比较。

提出的方法

• SERLU被定义为在负输入区域通过缩放指数函数正则化的线性函数，形成驼峰形状的激活曲线。
• 该驼峰设计为在大负输入时响应近似为零，同时实现激活值的统计均值中心化。
• 提出一种新型正则化技术——shift-dropout，其为标准dropout的泛化形式，并针对SERLU的函数形式进行了专门适配。
• 通过在密集网格上进行数值评估，检验SERLU的自归一化行为，以评估其保持均值接近零、方差接近一的能力。
• 实验采用改进的LeNet架构，在MNIST、CIFAR10和CIFAR100上进行，结合数据增强和RMSProp优化。
• 所有激活函数均在相同训练条件下进行比较，且各模型的dropout率保持一致。

实验结果

研究问题

• RQ1 具有负输入区域驼峰形响应的非单调激活函数能否保持与SELU类似的自归一化特性？
• RQ2 在负输入区域引入驼峰形函数是否能改善深度神经网络的训练收敛性和泛化能力？
• RQ3 针对SERLU设计的专用dropout技术（shift-dropout）是否能有效缓解过拟合？
• RQ4 SERLU在多种数据集上与ReLU、ELU、SELU、Swish和Leaky ReLU等成熟激活函数相比，性能表现如何？

主要发现

• 在CIFAR100上，SERLU表现最佳，在CIFAR10上位列第二，表明其具有卓越的泛化能力。
• 在MNIST上，SERLU在验证损失方面与表现最佳的基线模型Swish持平。
• SERLU在所有三个数据集上均表现出一致且优异的结果，且在整个训练周期内未出现明显过拟合现象。
• SERLU负输入区域的驼峰形响应与更快的收敛速度和更高的训练稳定性相关，这一现象在CIFAR10的训练曲线上可明显观察到。
• shift-dropout能有效缓解过拟合，在SERLU的上下文中优于标准dropout，表明其适用于非单调激活函数。
• 数值评估结果确认，SERLU在测试点上表现出与SELU相似的自归一化行为，但其在连续区域上的理论证明仍待解决。