[论文解读] Activate or Not: Learning Customized Activation

Ningning Ma, Xiangyu Zhang+2 more|arXiv (Cornell University)|Sep 10, 2020

Advanced Neural Network Applications参考文献 58被引用 9

一句话总结

本文提出 ACON，一种可学习的激活函数，能够动态决定是否激活神经元，从而在各类模型中提升性能。通过用平滑、可微函数近似 Maxout，ACON 在性能上超越了 ReLU 和 Swish，在 MobileNet-0.25 和 ResNet-152 上分别实现了 6.7% 和 1.8% 的 top-1 准确率提升；通过引入 meta-ACON，显式学习激活开关，进一步提升了性能。

ABSTRACT

We present a simple, effective, and general activation function we term ACON which learns to activate the neurons or not. Interestingly, we find Swish, the recent popular NAS-searched activation, can be interpreted as a smooth approximation to ReLU. Intuitively, in the same way, we approximate the more general Maxout family to our novel ACON family, which remarkably improves the performance and makes Swish a special case of ACON. Next, we present meta-ACON, which explicitly learns to optimize the parameter switching between non-linear (activate) and linear (inactivate) and provides a new design space. By simply changing the activation function, we show its effectiveness on both small models and highly optimized large models (e.g. it improves the ImageNet top-1 accuracy rate by 6.7% and 1.8% on MobileNet-0.25 and ResNet-152, respectively). Moreover, our novel ACON can be naturally transferred to object detection and semantic segmentation, showing that ACON is an effective alternative in a variety of tasks. Code is available at https://github.com/nmaac/acon.

研究动机与目标

• 理解 NAS 搜索得到的 Swish 激活函数的工作机制，并在此基础上进行改进。
• 为 Maxout 类激活函数提出一种通用的平滑近似方法。
• 设计一种可学习的激活函数，显式学习神经元的激活或抑制时机。
• 在不增加计算成本的前提下，提升小型、大型及高度优化模型的性能。
• 在目标检测和语义分割任务上展示所提出激活函数的泛化能力。

提出的方法

• 提出 ACON，作为 Maxout 的平滑、可微近似，其中 Swish 为其特例。
• 在梯度中引入可学习的上下界，以克服固定边界限制。
• 设计一种衰减至零的切换因子，实现非线性与线性行为之间的动态转换。
• 开发 meta-ACON，通过元学习器显式学习激活决策，提升训练稳定性。
• 在多种架构中应用 ACON 和 meta-ACON，包括 MobileNet、ResNet、RetinaNet 和 PSPNet。
• 通过在主干网络中用 meta-ACON 替换 ReLU，将 ACON 成功迁移至目标检测和语义分割任务。

实验结果

研究问题

• RQ1 NAS 搜索得到的 Swish 激活函数是如何工作的？能否将其解释为 ReLU 的平滑近似？
• RQ2 Maxout 家族能否被泛化为一种平滑且可学习的激活函数，以提升模型性能？
• RQ3 在非线性与线性行为之间可学习的切换机制，是否能提升模型准确率？
• RQ4 显式学习激活决策的 meta-ACON 是否优于基于梯度的标准优化方法？
• RQ5 ACON 是否能有效迁移至目标检测和语义分割等多样化任务？

主要发现

• 与 ReLU 相比，ACON 在 MobileNet-0.25 上将 ImageNet 的 top-1 准确率提升了 6.7%，在 ResNet-152 上提升了 1.8%。
• 在 ResNet-152 上，meta-ACON 实现了 1.3% 的准确率提升，在 SENet-154 上实现了 1.7% 的提升，优于 Swish 和 SENet。
• 在 COCO 目标检测任务中，meta-ACON 达到 36.5 mAP，较 ReLU 提升 1.3 个百分点，较 Swish 提升 0.7 个百分点。
• 在 CityScape 语义分割任务中，meta-ACON 实现 78.3 的平均交并比（mean IU），较 ReLU 提升 1.1 个百分点，较 Swish 提升 0.8 个百分点。
• ACON 在小型模型（如 MobileNet-0.25）和大型高度优化模型（如 ResNet-152、SENet-154）中均表现出一致的性能提升。
• 该方法泛化能力强，计算开销无显著增加，且可成功迁移至检测与分割任务。