[论文解读] ARiA: Utilizing Richard's Curve for Controlling the Non-monotonicity of the Activation Function in Deep Neural Nets

Narendra Patwardhan, Madhura Ingalhalikar+1 more|arXiv (Cornell University)|May 22, 2018

Advanced Neural Network Applications参考文献 12被引用 4

一句话总结

本文提出 ARiA，一种基于 Richard 曲线的新型双参数激活函数，旨在比 Swish 或 ReLU 更精确地控制深度神经网络中的非单调性。通过调节参数 α 和 β，ARiA2 实现了对正负区域凸性的独立控制，在 MNIST、CIFAR-10 和 CIFAR-100 上实现了最先进的准确率，收敛速度更快，性能优于 ReLU 和 Swish。

ABSTRACT

This work introduces a novel activation unit that can be efficiently employed in deep neural nets (DNNs) and performs significantly better than the traditional Rectified Linear Units (ReLU). The function developed is a two parameter version of the specialized Richard's Curve and we call it Adaptive Richard's Curve weighted Activation (ARiA). This function is non-monotonous, analogous to the newly introduced Swish, however allows a precise control over its non-monotonous convexity by varying the hyper-parameters. We first demonstrate the mathematical significance of the two parameter ARiA followed by its application to benchmark problems such as MNIST, CIFAR-10 and CIFAR-100, where we compare the performance with ReLU and Swish units. Our results illustrate a significantly superior performance on all these datasets, making ARiA a potential replacement for ReLU and other activations in DNNs.

研究动机与目标

• 解决 ReLU 和 Swish 在通过超参数控制非单调曲率方面的局限性。
• 开发一种可微分的非单调激活函数，可在正负输入区域独立调节凸性。
• 通过精确控制激活函数形状，改善深度神经网络的训练动态和测试准确率。
• 提供一种计算效率更高的 Swish 替代方案，具备更优的超参数控制能力，包括一种单参数变体（ARiA1），适用于资源受限的场景。

提出的方法

• 提出 ARiA 作为源自 Richard 曲线的双参数激活函数，定义为 f(x) = x * σ(L)，其中 σ(L) 为改进的逻辑斯蒂函数。
• 引入 ARiA2，通过参数 α 和 β 独立控制第一象限和第三象限的凸性。
• 采用改进的 sigmoid 函数 σ(β, x) = (1 + e^(-βx))^(-1) 并通过 α 缩放，以调节激活函数的曲率和斜率。
• 将 ARiA2 应用于前馈网络和卷积网络，包括 DenseNet 和 Wide Residual Networks，使用 Adam 和 SGD 等标准优化器。
• 在 MNIST、CIFAR-10 和 CIFAR-100 上通过 α 和 β 的超参数搜索验证性能。
• 提出 ARiA1 作为简化变体，仅将 α 作为可调参数，固定 β = 1，以降低计算成本。

实验结果

研究问题

• RQ1 基于 Richard 曲线的双参数激活函数是否能比 Swish 提供更精细的非单调曲率控制？
• RQ2 ARiA2 在标准基准测试中是否在测试准确率和收敛速度方面优于 ReLU 和 Swish？
• RQ3 ARiA1 是否可作为 Swish 和 ReLU 在资源受限训练中的有效、低复杂度替代方案？
• RQ4 超参数 α 和 β 如何独立影响激活函数的形状和性能？

主要发现

• 在使用 DenseNet 的 MNIST 上，ARiA2 在 α = 1.75、β = 1 时达到 98.84% 的测试准确率，优于 ReLU（98.72%）和 Swish。
• 在 CIFAR-10 上，ARiA2 在 α = 1.5、β = 1 时于第 100 个周期达到 95.43% 的准确率，超过 ReLU（92.55%）和 Swish。
• 在 CIFAR-100 上，ARiA2 在 α = 1.5、β = 2 时于第 100 个周期达到 70.17% 的准确率，优于 ReLU（68.06%）和 Swish。
• ARiA1 在 α = 1.5、β = 1 时于第 100 个周期在 CIFAR-10 上达到 94.37% 的准确率，证明了仅使用一个可调参数也具备强大性能。
• 结果表明，ARiA2 在所有数据集和网络架构上均持续优于 ReLU 和 Swish，收敛更快，准确率更高。
• 研究证实，通过 α 和 β 精确控制非单调凸性是 ARiA 实现卓越性能的关键。