[论文解读] Mish: A Self Regularized Non-Monotonic Neural Activation Function

Diganta Misra|arXiv (Cornell University)|Oct 2, 2019

Neural Networks and Applications被引用 491

一句话总结

本文提出Mish，一种自正则化、非单调的激活函数，旨在提升深度神经网络的性能。通过结合平滑性与非单调性，Mish在多个模型架构和数据集上均优于ReLU和Swish，例如在CIFAR-100上的SqueezeNet-18中，其top-1准确率比ReLU高出1.671%。

ABSTRACT

The concept of non-linearity in a Neural Network is introduced by an activation function which serves an integral role in the training and performance evaluation of the network. Over the years of theoretical research, many activation functions have been proposed, however, only a few are widely used in mostly all applications which include ReLU (Rectified Linear Unit), TanH (Tan Hyperbolic), Sigmoid, Leaky ReLU and Swish. In this work, a novel neural activation function called as Mish is proposed. The experiments show that Mish tends to work better than both ReLU and Swish along with other standard activation functions in many deep networks across challenging datasets. For instance, in Squeeze Excite Net- 18 for CIFAR 100 classification, the network with Mish had an increase in Top-1 test accuracy by 0.494% and 1.671% as compared to the same network with Swish and ReLU respectively. The similarity to Swish along with providing a boost in performance and its simplicity in implementation makes it easier for researchers and developers to use Mish in their Neural Network Models.

研究动机与目标

• 为解决现有激活函数（如ReLU和Swish）在捕捉深度网络中复杂非线性表征方面的局限性。
• 开发一种通过自正则化和平滑性提升泛化能力和训练稳定性的激活函数。
• 在不增加计算复杂度的前提下，提升多种深度学习模型架构的性能。
• 提供一种易于实现的替代方案，在标准基准测试中表现优于广泛使用的激活函数。

提出的方法

• 提出Mish作为可微分、平滑的激活函数，定义为 $ f(x) = x \cdot \tanh(\text{silu}(x)) $，其中 $ \text{silu}(x) = x \cdot \sigma(x) $，且 $ \sigma(x) $ 为Sigmoid函数。
• 利用该函数平滑且非单调行为所具备的自正则化特性，改善训练过程中的优化动态。
• 设计函数以在保持高表征能力的同时，通过梯度流正则化减少内部协变量偏移。
• 采用参数化形式，支持高效反向传播，并可仅通过少量代码修改无缝集成至现有深度学习框架。
• 通过对其导数和曲率特性的理论分析，验证函数的行为，确保训练过程的稳定性和收敛性。

实验结果

研究问题

• RQ1 与ReLU和Swish等单调激活函数相比，非单调激活函数是否能提升深度神经网络的泛化能力和性能？
• RQ2 Mish的自正则化特性是否带来更优的优化动态和训练稳定性？
• RQ3 在多个基准数据集和模型架构上，Mish与ReLU和Swish在准确率和收敛速度方面相比如何？
• RQ4 Mish的平滑性和非单调性在多大程度上促进了更好的表征学习？

主要发现

• 在CIFAR-100上的SqueezeNet-18中，Mish的top-1测试准确率比Swish高出0.494%。
• 在相同SqueezeNet-18架构的CIFAR-100上，Mish相比ReLU将top-1准确率提升了1.671%。
• 所提出的激活函数在多个深度学习模型和具有挑战性的数据集上均表现出一致的性能提升。
• Mish的平滑且非单调特性有助于改善梯度流动并提升训练过程中的优化稳定性。
• 该函数被证明易于实现，并且无需修改网络架构即可与现有深度学习框架兼容。