[论文解读] Growing Cosine Unit: A Novel Oscillatory Activation Function That Can Speedup Training and Reduce Parameters in Convolutional Neural Networks

Mathew Mithra Noel, L Arunkumar+2 more|arXiv (Cornell University)|Aug 30, 2021

Spectroscopy Techniques in Biomedical and Chemical Research参考文献 11被引用 6

一句话总结

本文提出一种新型振荡激活函数——增长余弦单元（Growing Cosine Unit, GCU），其定义为 $ C(z) = z \cdot \cos z $，通过周期性零点使单个神经元能够建模多个决策边界，从而增强梯度流动并减少网络参数量。实验结果表明，GCU 在 CIFAR-10、CIFAR-100 和 Imagenette 上的准确率和收敛速度均优于 ReLU、Swish、Mish 和 Sigmoid，且仅用一个神经元即可解决 XOR 问题。

ABSTRACT

Convolutional neural networks have been successful in solving many socially important and economically significant problems. This ability to learn complex high-dimensional functions hierarchically can be attributed to the use of nonlinear activation functions. A key discovery that made training deep networks feasible was the adoption of the Rectified Linear Unit (ReLU) activation function to alleviate the vanishing gradient problem caused by using saturating activation functions. Since then, many improved variants of the ReLU activation have been proposed. However, a majority of activation functions used today are non-oscillatory and monotonically increasing due to their biological plausibility. This paper demonstrates that oscillatory activation functions can improve gradient flow and reduce network size. Two theorems on limits of non-oscillatory activation functions are presented. A new oscillatory activation function called Growing Cosine Unit(GCU) defined as $C(z) = z\cos z$ that outperforms Sigmoids, Swish, Mish and ReLU on a variety of architectures and benchmarks is presented. The GCU activation has multiple zeros enabling single GCU neurons to have multiple hyperplanes in the decision boundary. This allows single GCU neurons to learn the XOR function without feature engineering. Experimental results indicate that replacing the activation function in the convolution layers with the GCU activation function significantly improves performance on CIFAR-10, CIFAR-100 and Imagenette.

研究动机与目标

• 探究振荡激活函数是否能够改善深度卷积神经网络中的梯度流动并降低网络复杂度。
• 解决如 ReLU 等非振荡、单调激活函数存在的神经元死亡和决策边界表达能力有限的问题。
• 提出一种新型激活函数，使单个神经元无需特征工程或多层结构即可解决复杂任务（如 XOR 问题）。
• 通过实验验证 GCU 在准确率、收敛速度和参数效率方面相较于现有激活函数的优越性。

提出的方法

• 提出定义为 $ C(z) = z \cdot \cos z $ 的增长余弦单元（GCU）激活函数，该函数具有振荡性和非单调性。
• 理论分析表明，非振荡激活函数在建模复杂决策边界方面能力受限，从而促使采用振荡函数。
• 利用 $ C(z) $ 的多个零点，在单个神经元的决策边界中生成无限多组平行超平面。
• 在 CIFAR-10、CIFAR-100 和 Imagenette 基准数据集上，使用标准网络架构在卷积层中训练并评估采用 GCU 的卷积神经网络。
• 通过比较训练过程中各训练周期的梯度 RMS 值，分析梯度流动的稳定性。
• 采用紧凑的卷积神经网络架构，以确保不同激活函数之间的公平比较。

实验结果

研究问题

• RQ1 像 GCU 这样的振荡激活函数是否能够改善卷积神经网络中的梯度流动并减少参数数量？
• RQ2 单个 GCU 神经元是否能够在不依赖多个神经元或多层结构的情况下解决 XOR 问题？
• RQ3 与 ReLU、Leaky ReLU、Swish 和 Mish 相比，GCU 激活函数在训练速度和测试准确率方面表现如何？
• RQ4 GCU 的振荡特性是否相比基于 ReLU 的函数带来更稳定的梯度动态？
• RQ5 非振荡激活函数在建模复杂决策边界方面存在哪些理论局限性？

主要发现

• 在 CIFAR-10、CIFAR-100 和 Imagenette 上，GCU 激活函数在测试准确率和收敛速度方面显著优于 ReLU、Swish、Mish 和 Sigmoid。
• GCU 使得单个神经元即可解决 XOR 问题，而传统激活函数至少需要三个神经元。
• GCU 的 RMS 梯度值稳定在 0 到 20 的范围内，相比 ReLU 和 Leaky ReLU 在 0 到 40 范围内的剧烈波动，其振荡显著减小。
• 由于 GCU 在大范围内非零且仅在孤立点导数为零，因此避免了神经元死亡问题。
• GCU 的振荡特性使得每个神经元可生成多个决策超平面，从而以更少参数实现更复杂的函数逼近。
• 理论分析证实，非振荡激活函数在建模复杂非线性决策边界方面存在根本性局限。