[论文解读] Data-aware customization of activation functions reduces neural network error

Fuchang Gao, Boyu Zhang|arXiv (Cornell University)|Jan 16, 2023

Machine Learning in Materials Science被引用 5

一句话总结

本文提出了一种数据感知的激活函数定制方法，以减少神经网络误差，引入了针对部分可交换目标函数的'seagull'激活函数 log(1 + x²)。通过利用线性代数和Diaconis-Shahshahani近似定理，该方法确保即使在使用非线性激活函数时，预测结果仍能保持对称性，从而在回归任务中实现高达一个数量级的误差降低，尤其是在处理可交换变量的第一层中应用时效果尤为显著。

ABSTRACT

Activation functions play critical roles in neural networks, yet current off-the-shelf neural networks pay little attention to the specific choice of activation functions used. Here we show that data-aware customization of activation functions can result in striking reductions in neural network error. We first give a simple linear algebraic explanation of the role of activation functions in neural networks; then, through connection with the Diaconis-Shahshahani Approximation Theorem, we propose a set of criteria for good activation functions. As a case study, we consider regression tasks with a partially exchangeable target function, \emph{i.e.} $f(u,v,w)=f(v,u,w)$ for $u,v\in \mathbb{R}^d$ and $w\in \mathbb{R}^k$, and prove that for such a target function, using an even activation function in at least one of the layers guarantees that the prediction preserves partial exchangeability for best performance. Since even activation functions are seldom used in practice, we designed the ``seagull'' even activation function $\log(1+x^2)$ according to our criteria. Empirical testing on over two dozen 9-25 dimensional examples with different local smoothness, curvature, and degree of exchangeability revealed that a simple substitution with the ``seagull'' activation function in an already-refined neural network can lead to an order-of-magnitude reduction in error. This improvement was most pronounced when the activation function substitution was applied to the layer in which the exchangeable variables are connected for the first time. While the improvement is greatest for low-dimensional data, experiments on the CIFAR10 image classification dataset showed that use of ``seagull'' can reduce error even for high-dimensional cases. These results collectively highlight the potential of customizing activation functions as a general approach to improve neural network performance.

研究动机与目标

• 通过将领域特定的结构知识整合到激活函数设计中，解决标准神经网络泛化能力差的问题。
• 通过基于底层数据结构（尤其是对称性属性，如部分可交换性）定制激活函数，提升模型性能。
• 证明即使激活函数也能保持对结构化数据中关键预测功能对称性的能力。
• 开发一种实用的即插即用型激活函数——'seagull'，在不改变网络架构的前提下提升性能。
• 在多种回归问题和高维数据集（如CIFAR10）上验证该方法的有效性。

提出的方法

• 使用线性代数将神经网络逼近问题建模为通过激活函数实现秩增强的问题。
• 基于Diaconis-Shahshahani近似定理推导出有效激活函数的理论标准。
• 证明即使激活函数也能保持目标函数 f(u,v,w) = f(v,u,w) 的部分可交换性。
• 设计'seagull'激活函数 g(x) = log(1 + x²)，使其满足理论标准并确保偶对称性。
• 将seagull函数作为现有神经网络中的替代品直接应用，无需重新训练或修改损失函数。
• 在26个以上的回归任务中评估性能，涵盖不同维度、平滑度、曲率和可交换性水平。

实验结果

研究问题

• RQ1 数据感知的激活函数定制是否能在回归任务中显著降低神经网络误差？
• RQ2 使用偶函数形式的激活函数是否能保持目标函数中的部分可交换性，从而提升性能？
• RQ3 与标准激活函数相比，'seagull'激活函数 log(1 + x²) 在误差降低方面表现如何？
• RQ4 当'seagull'函数应用于首次处理可交换变量的网络层时，性能提升是否最为显著？
• RQ5 该方法是否能推广至高维数据，如CIFAR10图像分类任务？

主要发现

• 将标准激活函数替换为'seagull'函数 log(1 + x²) 后，在多个回归任务中实现了误差降低一个数量级。
• 当'seagull'函数应用于首次连接可交换变量的网络层时，误差降低最为显著。
• 该改进在不同原始激活函数、损失函数、优化器以及不同噪声水平的数据中均保持一致。
• 即使在高维场景（如CIFAR10）中，'seagull'函数仍能降低误差，尽管其增益小于低维情况下的表现。
• 理论分析证实，偶函数形式的激活函数能保持部分可交换性，从而解释了性能提升的原因。
• 实证结果验证了'seagull'函数在相同训练条件下优于标准ReLU及其他常见激活函数。