[论文解读] How important are activation functions in regression and classification? A survey, performance comparison, and future directions

Ameya D. Jagtap, George Em Karniadakis|arXiv (Cornell University)|Sep 6, 2022

Machine Learning in Materials Science被引用 12

一句话总结

本综述研究了激活函数在回归与分类任务中的作用，比较了固定型（如 ReLU）与自适应型（如 Rowdy、Swish）激活函数在各类任务中的表现。研究发现，ReLU 变体在物理信息机器学习中表现欠佳，主要因其导数问题；而正弦、双曲正切及自适应激活函数表现更优，尤其在多尺度偏微分方程（PDE）问题中表现突出，JAX 的使用显著提升了准确率与效率。

ABSTRACT

Inspired by biological neurons, the activation functions play an essential part in the learning process of any artificial neural network commonly used in many real-world problems. Various activation functions have been proposed in the literature for classification as well as regression tasks. In this work, we survey the activation functions that have been employed in the past as well as the current state-of-the-art. In particular, we present various developments in activation functions over the years and the advantages as well as disadvantages or limitations of these activation functions. We also discuss classical (fixed) activation functions, including rectifier units, and adaptive activation functions. In addition to discussing the taxonomy of activation functions based on characterization, a taxonomy of activation functions based on applications is presented. To this end, the systematic comparison of various fixed and adaptive activation functions is performed for classification data sets such as the MNIST, CIFAR-10, and CIFAR- 100. In recent years, a physics-informed machine learning framework has emerged for solving problems related to scientific computations. For this purpose, we also discuss various requirements for activation functions that have been used in the physics-informed machine learning framework. Furthermore, various comparisons are made among different fixed and adaptive activation functions using various machine learning libraries such as TensorFlow, Pytorch, and JAX.

研究动机与目标

• 系统评估激活函数对深度学习在分类与回归任务中性能的影响。
• 识别经典固定型激活函数（如 ReLU）在物理信息机器学习（PIML）中的局限性，特别是其对导数的要求。
• 在多个数据集（MNIST、CIFAR-10、CIFAR-100）和机器学习框架（TensorFlow、PyTorch、JAX）中，对比固定型与自适应型激活函数的表现。
• 提出一种基于应用的激活函数新分类法，强调科学计算与多尺度建模。
• 探索未来方向，包括量化自适应激活函数以及与脉冲神经网络的集成，以提升效率与生物合理性。

提出的方法

• 对经典激活函数（如 ReLU、ELU、Sigmoid、tanh）与现代自适应激活函数（如 Swish、Rowdy、基于正弦的函数）进行全面综述。
• 在标准分类基准（MNIST、CIFAR-10、CIFAR-100）上，使用 TensorFlow、PyTorch 与 JAX 进行系统性性能比较。
• 在物理信息机器学习（PIML）框架中评估激活函数，重点关注在干净与噪声数据下求解 PDE 的准确性。
• 分析固定型激活函数中的谱偏差问题，并评估自适应与基于正弦的函数（如 Rowdy）如何缓解该问题。
• 利用 JAX 的 JIT 编译与 Hessian 计算能力，实现 PIML 模型的高精度、高效率训练。
• 提出并测试具有动态参数的自适应激活函数，通过重塑损失曲面以避免局部极小值与饱和状态。

Figure 1: Notable historical developments over the years related to the activation function.

实验结果

研究问题

• RQ1 与自适应激活函数相比，ReLU 及其变体在分类任务中的表现如何？
• RQ2 尽管在分类任务中表现优异，为何基于 ReLU 的激活函数在物理信息机器学习（PIML）框架中会失效？
• RQ3 激活函数的哪些关键特性使其适用于科学机器学习中多尺度 PDE 的求解？
• RQ4 机器学习框架的选择（TensorFlow、PyTorch、JAX）如何影响不同激活函数在 PIML 中的表现？
• RQ5 自适应激活函数能否克服谱偏差问题，并在高频或多尺度问题中提升泛化能力？

主要发现

• ReLU 及其变体在 MNIST、CIFAR-10 与 CIFAR-100 分类任务中表现优异，但在物理信息机器学习中表现欠佳，主要因其导数不可导。
• 如双曲正切、Swish 及基于正弦的激活函数（如 Rowdy）在 PIML 任务中优于 ReLU，尤其在多尺度问题中表现突出。
• 自适应激活函数，特别是 Rowdy，通过向基础激活函数注入正弦噪声，有效缓解了谱偏差问题。
• 与 TensorFlow 和 PyTorch 相比，JAX 显著提升了 PIML 中的预测准确率（提升一个数量级），主要得益于更优的 Hessian 计算与 JIT 编译能力。
• 在 JAX 中，高阶优化方法（如 AdaHessian）实现更高效，可加速收敛并在复杂 PDE 求解中获得更优性能。
• 量化自适应激活函数是降低大规模模型计算成本的有前途方向，且无需牺牲性能。

Figure 2: Biological (top) vs artificial (bottom) neurons.