[论文解读] Approximating Activation Functions

Nicholas Gerard Timmons, Andrew Rice|arXiv (Cornell University)|Jan 17, 2020

Machine Learning and Algorithms参考文献 20被引用 11

一句话总结

本文提出了一种快速且精确的近似方法，用于神经网络中使用的sigmoid和双曲正切激活函数，特别是在LSTM中。通过函数逼近技术，作者开发了安全且有范围限制的近似方法，在CPU上将训练时间减少了10–37%，在输入域受限时减少了20–53%，优于Theano和Word2Vec中现有实现的性能表现。

ABSTRACT

ReLU is widely seen as the default choice for activation functions in neural networks. However, there are cases where more complicated functions are required. In particular, recurrent neural networks (such as LSTMs) make extensive use of both hyperbolic tangent and sigmoid functions. These functions are expensive to compute. We used function approximation techniques to develop replacements for these functions and evaluated them empirically on three popular network configurations. We find safe approximations that yield a 10% to 37% improvement in training times on the CPU. These approximations were suitable for all cases we considered and we believe are appropriate replacements for all networks using these activation functions. We also develop ranged approximations which only apply in some cases due to restrictions on their input domain. Our ranged approximations yield a performance improvement of 20% to 53% in network training time. Our functions also match or considerably out perform the ad-hoc approximations used in Theano and the implementation of Word2Vec.

研究动机与目标

• 降低神经网络中sigmoid和tanh等昂贵激活函数的计算成本。
• 开发实用且经过实证验证的近似方法，在保持模型精度的同时提升训练速度。
• 为机器学习库中的标准激活函数提供即插即用的替代方案。
• 评估近似方法在多种网络架构中对训练和推理性能的影响。
• 证明这些近似方法在主流框架（如Theano和Word2Vec）中优于现有临时实现。

提出的方法

• 提出两种安全近似方法：用于sigmoid的sigm_fastexp_512和用于tanh的tanh_pade_4_4，分别采用有理函数和指数逼近。
• 开发了有范围限制的近似方法，仅在受限输入域内应用，以实现更高的性能提升。
• 通过在三种流行的神经网络架构上进行实证基准测试，评估训练和推理时间的改进情况。
• 基于CPU上的训练和推理工作负载评估近似方法，以验证性能提升效果。
• 在Julia的Flux库中实现并开源了这些近似方法，并通过与TensorFlow的性能对比进行验证。
• 通过测量多个模型和数据集的训练时间、损失值和收敛性，对近似方法进行验证。

实验结果

研究问题

• RQ1 函数逼近技术能否有效应用于sigmoid和tanh激活函数，以减少训练时间而不损害模型精度？
• RQ2 所提出的安全近似和有范围限制的近似方法与Theano和Word2Vec中现有近似方法相比，在速度和精度方面表现如何？
• RQ3 这些近似方法对真实世界神经网络架构（如LSTM和前馈网络）的性能影响如何？
• RQ4 这些近似方法在多大程度上影响训练收敛性和损失稳定性？
• RQ5 这些近似方法能否作为即插即用的替代方案，有效集成到主流机器学习库中？

主要发现

• 安全近似方法sigm_fastexp_512和tanh_pade_4_4在所有测试网络中将训练时间减少了10%至37%，且未降低模型精度。
• 有范围限制的近似方法在训练时间上实现了20%至53%的性能提升，但仅适用于特定输入域。
• 与Theano和Word2Vec中使用的临时近似方法相比，新近似方法在速度和训练稳定性方面表现更优。
• 训练损失保持稳定或有所改善，表明新近似方法对模型收敛性无负面影响。
• 这些近似方法不仅在训练中有效，在推理中同样表现良好，表明其具有广泛适用性。
• 实证评估证实，这些近似方法可作为机器学习库中标准激活函数的可行即插即用替代方案。