[论文解读] FReLU: Flexible Rectified Linear Units for Improving Convolutional Neural Networks

Suo Qiu, Xiangmin Xu+1 more|arXiv (Cornell University)|Jun 25, 2017

Advanced Neural Network Applications被引用 7

一句话总结

本文提出FReLU，一种可学习的激活函数，通过引入可学习偏置参数扩展ReLU，实现灵活的负激活，提升模型表达能力的同时不增加计算成本。FReLU在CIFAR-10、CIFAR-100和ImageNet基准测试中，相较于ReLU、PReLU、ELU和SReLU，实现了更快的收敛速度和更高的准确率，尤其在使用批量归一化时表现更优。

ABSTRACT

Rectified linear unit (ReLU) is a widely used activation function for deep convolutional neural networks. However, because of the zero-hard rectification, ReLU networks miss the benefits from negative values. In this paper, we propose a novel activation function called \emph{flexible rectified linear unit (FReLU)} to further explore the effects of negative values. By redesigning the rectified point of ReLU as a learnable parameter, FReLU expands the states of the activation output. When the network is successfully trained, FReLU tends to converge to a negative value, which improves the expressiveness and thus the performance. Furthermore, FReLU is designed to be simple and effective without exponential functions to maintain low cost computation. For being able to easily used in various network architectures, FReLU does not rely on strict assumptions by self-adaption. We evaluate FReLU on three standard image classification datasets, including CIFAR-10, CIFAR-100, and ImageNet. Experimental results show that the proposed method achieves fast convergence and higher performances on both plain and residual networks.

研究动机与目标

• 通过引入可学习的整流点，解决ReLU的局限性，如缺失负信息和缺乏零中心激活。
• 通过可控的负激活，提升卷积神经网络的表达能力和泛化能力。
• 设计一种保持计算效率并兼容批量归一化的激活函数。
• 通过实证验证，负值对网络性能有实质性贡献。

提出的方法

• FReLU通过引入可学习偏置参数 $ b_l $ 修改ReLU，使得 $ frelu(x) = \begin{cases} x + b_l & \text{if } x > 0 \\ b_l & \text{if } x \leq 0 \end{cases} $，允许输出垂直移动。
• 可学习参数 $ b_l $ 与网络端到端联合训练，实现激活阈值的自适应调整。
• 前向和反向传播计算高效，避免使用指数等昂贵操作。
• FReLU与批量归一化兼容，无需架构修改。
• 该方法适用于普通网络和残差网络，包括ResNet和NIN架构。
• 参数初始化经过精心设计，以防止梯度消失，利用对称权重初始化。

实验结果

研究问题

• RQ1 ReLU中的可学习偏置是否能通过实现可控负激活来提升模型性能？
• RQ2 在标准图像分类数据集上，FReLU是否在准确率和收敛速度方面优于ReLU、PReLU、ELU和SReLU？
• RQ3 与ELU相比，FReLU在批量归一化下的表现如何？
• RQ4 FReLU是否能在不牺牲稀疏性或计算效率的前提下有效捕捉有用的负信息？
• RQ5 FReLU的自适应特性是否使其能在无需强假设的情况下泛化到不同网络架构？

主要发现

• 在CIFAR-10的NIN模型上，FReLU的测试误差为7.30%（±0.20），优于ReLU（8.05%）、PReLU（8.86%）、ELU（8.08%）和SReLU（7.93%）。
• 在CIFAR-100的NIN模型上，FReLU的测试误差为28.47%（±0.21），显著优于ReLU（29.46%）、PReLU（33.73%）和ELU（28.33%）。
• 在ResNet-110用于CIFAR-10时，FReLU的测试误差为6.20%（±0.23），优于原始架构下的ReLU（6.82%）和ELU（8.21%）。
• 在修改后的残差块中，FReLU在ResNet-110用于CIFAR-100时达到5.71%的误差，优于ELU（5.86%）和ReLU（28.48%）。
• 在ImageNet上，FReLU将Top-1误差从ReLU的35.65%降低至NIN的34.82%，并在CaffeNet上达到51.20%的最佳结果，优于ELU（51.20%）和ReLU（53.00%）。
• FReLU表现出比ELU更快的收敛速度，并且与批量归一化具有更好的兼容性；而直接将ELU替换到残差块中会导致性能下降。