[论文解读] Mish: A Self Regularized Non-Monotonic Activation Function

Diganta Misra|arXiv (Cornell University)|Aug 23, 2019

Advanced Neural Network Applications参考文献 15被引用 18

一句话总结

本文提出Mish，一种自正则化、非单调的激活函数，定义为 f(x) = x·tanh(softplus(x))，可改善深度神经网络的训练动态和模型性能。实验结果表明，Mish在ImageNet-1k上的Top-1准确率相比ReLU和Leaky ReLU最高提升1%，在MS-COCO目标检测任务中AP50提升2.1%，且在超参数和网络架构完全相同的情况下实现该性能提升。

ABSTRACT

We propose $ extit{Mish}$, a novel self-regularized non-monotonic activation function which can be mathematically defined as: $f(x)=x anh(softplus(x))$. As activation functions play a crucial role in the performance and training dynamics in neural networks, we validated experimentally on several well-known benchmarks against the best combinations of architectures and activation functions. We also observe that data augmentation techniques have a favorable effect on benchmarks like ImageNet-1k and MS-COCO across multiple architectures. For example, Mish outperformed Leaky ReLU on YOLOv4 with a CSP-DarkNet-53 backbone on average precision ($AP_{50}^{val}$) by 2.1$\%$ in MS-COCO object detection and ReLU on ResNet-50 on ImageNet-1k in Top-1 accuracy by $\approx$1$\%$ while keeping all other network parameters and hyperparameters constant. Furthermore, we explore the mathematical formulation of Mish in relation with the Swish family of functions and propose an intuitive understanding on how the first derivative behavior may be acting as a regularizer helping the optimization of deep neural networks. Code is publicly available at https://github.com/digantamisra98/Mish.

研究动机与目标

• 开发一种能够提升深度神经网络训练动态和泛化能力的激活函数。
• 解决ReLU和Leaky ReLU等单调激活函数的局限性，这些局限可能阻碍优化和泛化。
• 探索非单调、平滑激活函数在深度学习中的数学特性和优化优势。
• 评估数据增强与Mish结合使用时对主要计算机视觉基准的影响。
• 提供关于Mish导数行为如何发挥正则化作用的理论与实证洞察。

提出的方法

• 提出Mish作为 f(x) = x·tanh(softplus(x))，结合ReLU与Swish的优点，并提升平滑性。
• 使用 softplus(x) = log(1 + exp(x)) 作为ReLU的平滑近似，实现零点处的可微性。
• 采用双曲正切函数引入非单调性，支持更复杂的特征表示。
• 分析Mish的一阶导数，解释其在优化过程中产生的自正则化效应。
• 在ImageNet-1k和MS-COCO上，对多种架构（如ResNet-50、CSP-DarkNet-53）进行性能验证。
• 在所有实验中一致应用数据增强技术，以评估其与Mish的协同效应。

实验结果

研究问题

• RQ1 Mish在ImageNet-1k上的Top-1准确率与ReLU和Leaky ReLU相比如何？
• RQ2 Mish在MS-COCO目标检测任务中对平均精度（AP50）的提升程度如何？
• RQ3 Mish的非单调性和平滑性在优化深度神经网络中起到何种作用？
• RQ4 Mish与数据增强技术结合时，如何提升模型泛化能力？
• RQ5 Mish的导数行为是否可被解释为一种隐式正则化形式？

主要发现

• 在使用相同超参数训练ResNet-50并在ImageNet-1k上测试时，Mish相比ReLU将Top-1准确率提升了1%。
• 在YOLOv4和CSP-DarkNet-53架构下，Mish在MS-COCO上的AP50相比Leaky ReLU提升了2.1%。
• Mish的非单调性和平滑性有助于优化动态的改善与泛化能力的提升。
• 在ImageNet-1k和MS-COCO上，数据增强技术与Mish结合后进一步提升了性能增益。
• Mish的一阶导数表现出可能具有正则化作用的行为，有助于稳定训练并改善收敛性。
• 在不改变网络架构或超参数的前提下，Mish在多个基准上均优于现有激活函数。