[论文解读] PLU: The Piecewise Linear Unit Activation Function

Andrei Nicolae|arXiv (Cornell University)|Sep 3, 2018

Neural Networks and Applications参考文献 3被引用 21

一句话总结

本文提出了一种新型激活函数——分段线性单元（PLU），该函数结合了tanh的平滑非线性与ReLU的梯度稳定性。PLU采用三个可学习参数的线性段，能够比ReLU更精确地逼近复杂非线性函数，在浅层网络和非线性函数拟合任务中，性能接近tanh且避免梯度消失问题。

ABSTRACT

Successive linear transforms followed by nonlinear "activation" functions can approximate nonlinear functions to arbitrary precision given sufficient layers. The number of necessary layers is dependent on, in part, by the nature of the activation function. The hyperbolic tangent (tanh) has been a favorable choice as an activation until the networks grew deeper and the vanishing gradients posed a hindrance during training. For this reason the Rectified Linear Unit (ReLU) defined by max(0, x) has become the prevailing activation function in deep neural networks. Unlike the tanh function which is smooth, the ReLU yields networks that are piecewise linear functions with a limited number of facets. This paper presents a new activation function, the Piecewise Linear Unit (PLU) that is a hybrid of tanh and ReLU and shown to outperform the ReLU on a variety of tasks while avoiding the vanishing gradients issue of the tanh.

研究动机与目标

• 解决ReLU因分段线性结构导致零梯度而难以拟合平滑、高度非线性函数的局限性。
• 在保留高非线性的前提下，克服tanh的梯度消失问题，以实现更优的函数逼近效果。
• 设计一种计算效率高、可逆且避免ReLU中‘神经元死亡’问题的激活函数。
• 在多个函数逼近任务和真实世界分类基准上评估PLU的性能。

提出的方法

• PLU被定义为一个三段分段线性函数：$\text{PLU}(x) = \max(\alpha(x+c)-c, \min(\alpha(x-c)+c, x))$，其中$\alpha$和$c$为可学习或固定的超参数。
• 该函数被设计为在有界范围内近似tanh函数的形状，同时保持无界性以防止梯度饱和。
• PLU在整个实数域上可逆，其反函数为$\text{PLU}^{-1}(x) = \min\left(\frac{x+c}{\alpha}-c, \max\left(\frac{x-c}{\alpha}+c\right)\right)$，适用于可逆神经网络架构。
• 该方法在浅层与深层前馈网络、CIFAR-10上的卷积网络，以及参数化与三维曲面拟合任务中评估了PLU的性能。
• 所有实验均使用Adam优化器，采用标准超参数进行训练，并将PLU与ReLU、tanh及恒等激活函数进行比较。
• 函数逼近任务采用均方误差（MSE）损失，图像分类任务则采用交叉熵损失和准确率指标。

实验结果

研究问题

• RQ1 分段线性激活函数能否在拟合平滑、高度非线性函数（如sin(x)和参数曲线）方面优于ReLU？
• RQ2 PLU是否能在避免梯度消失问题的同时，保持与tanh相当的性能？
• RQ3 在真实世界图像分类任务的深层卷积网络中，PLU与ReLU和tanh相比表现如何？
• RQ4 PLU是否可逆？能否用于需要可逆激活函数的网络架构中？
• RQ5 PLU中线性段数量的增加是否能在浅层网络中带来更优的函数逼近效果？

主要发现

• 在拟合$\sin(x)$时，PLU的均方误差（MSE）损失比ReLU低两个数量级，性能与tanh相当。
• 在参数化函数拟合任务中，PLU产生的线性段数量显著多于ReLU，从而能更紧密地拟合目标曲线。
• 在双曲抛物面$x^2 - y^2$的三维曲面逼近任务中，PLU在视觉拟合效果和训练损失方面均优于ReLU，性能接近tanh。
• 在CIFAR-10数据集上，尽管ReLU表现良好（因数据接近线性），但PLU和tanh仍比ReLU训练得更快，表明其具有更好的梯度稳定性。
• PLU在整个实数域上表现出可逆性，而tanh仅在$(-1,1)$区间有定义，ReLU则不可逆。
• PLU避免了ReLU的‘神经元死亡’问题，且在所有位置均保持非零梯度，支持稳定训练。