[论文解读] A Modified Activation Function with Improved Run-Times For Neural Networks

V.I.E Anireh, Emmanuel N. Osegi|arXiv (Cornell University)|Jul 6, 2016

Neural Networks and Applications参考文献 16被引用 3

一句话总结

本文提出了一种改进的双曲正切激活函数，用通过二次实数公式（RNF）算法推导出的整数近似值替代传统函数中的无理常数 e，并结合自适应归一化以缓解梯度消失问题。该方法在合成数据集和真实世界数据集上均实现了更快的训练运行时间与更高的学习准确率，显著提升了速度而未牺牲性能。

ABSTRACT

In this paper we present a modified version of the Hyperbolic Tangent Activation Function as a learning unit generator for neural networks. The function uses an integer calibration constant as an approximation to the Euler number, e, based on a quadratic Real Number Formula (RNF) algorithm and an adaptive normalization constraint on the input activations to avoid the vanishing gradient. We demonstrate the effectiveness of the proposed modification using a hypothetical and real world dataset and show that lower run-times can be achieved by learning algorithms using this function leading to improved speed-ups and learning accuracies during training.

研究动机与目标

• 为解决在传统激活函数（如 tanh）中使用超越常数 e 所带来的计算开销问题。
• 在不损害学习准确率的前提下，减少神经网络的训练运行时间。
• 通过输入归一化与函数修改，缓解反向传播过程中的梯度消失问题。
• 开发一种计算高效的激活函数，适用于实时和资源受限的应用场景。
• 在假设性与真实世界数据集上验证所提函数的性能与速度表现。

提出的方法

• 将标准双曲正切函数中的欧拉常数 e 替换为通过二次实数公式（RNF）算法推导出的整数校准近似值。
• 对输入激活值应用自适应归一化约束，以稳定梯度并防止饱和。
• 设计一种改进的激活函数，保持 tanh 的 S 型曲线特征，但因采用整数运算而实现更快的计算速度。
• 利用 RNF 算法推导出的校准常数，仅通过整数运算高精度逼近 e。
• 将改进后的函数集成到前馈神经网络架构中，用于训练与评估。
• 采用数值逼近与动态输入缩放相结合的混合方法，以增强训练的稳定性和速度。

实验结果

研究问题

• RQ1 是否可用 e 的整数近似值替代 tanh 函数中的无理常数 e，从而降低神经网络训练的计算成本？
• RQ2 所提出的激活函数在学习准确率方面是否与标准 tanh 及其 ReLU 变体相当或更优？
• RQ3 自适应归一化在深层网络中在多大程度上缓解了梯度消失问题？
• RQ4 改进后的激活函数是否在合成数据集与真实世界数据集中均实现了可测量的运行时间提升？
• RQ5 与标准浮点实现相比，基于 RNF 的 e 近似在精度与速度方面表现如何？

主要发现

• 改进后的激活函数在假设性与真实世界数据集上均实现了比标准 tanh 和 ReLU 更低的训练运行时间。
• 采用 e 的整数校准近似值显著降低了计算复杂度，从而加快了推理与训练周期。
• 自适应归一化有效缓解了梯度消失问题，尤其在更深的网络架构中表现突出。
• 在基准数据集上，所提函数表现出更高的学习准确率，部分情况下优于标准 tanh。
• RNF 算法提供了对 e 的高精度整数近似，保持了与原始 tanh 函数的功能相似性，同时实现了更快的算术运算。
• 实证结果表明训练速度有明显提升，该方法在资源受限环境中尤为有效。