[论文解读] Regularization and Reparameterization Avoid Vanishing Gradients in Sigmoid-Type Networks

Leni Ven, Johannes Lederer|arXiv (Cornell University)|Jun 4, 2021

Machine Learning and ELM被引用 6

一句话总结

本文提出，权重正则化和参数重参数化可有效防止Sigmoid类网络（如使用tanh激活的网络）中的梯度消失问题。通过数学上识别出两个不同的原因——单个参数过大和多层累积效应——本文证明ℓ₂正则化和缩放能同时解决这两个问题，使Sigmoid网络在深度学习中重新成为ReLU的可行替代方案。

ABSTRACT

Deep learning requires several design choices, such as the nodes' activation functions and the widths, types, and arrangements of the layers. One consideration when making these choices is the vanishing-gradient problem, which is the phenomenon of algorithms getting stuck at suboptimal points due to small gradients. In this paper, we revisit the vanishing-gradient problem in the context of sigmoid-type activation. We use mathematical arguments to highlight two different sources of the phenomenon, namely large individual parameters and effects across layers, and to illustrate two simple remedies, namely regularization and rescaling. We then demonstrate the effectiveness of the two remedies in practice. In view of the vanishing-gradient problem being a main reason why tanh and other sigmoid-type activation has become much less popular than relu-type activation, our results bring sigmoid-type activation back to the table.

研究动机与目标

• 重新审视Sigmoid类网络中的梯度消失问题，特别是在tanh及其相关激活函数的背景下。
• 识别梯度消失问题的两个不同根源：单个参数过大和多层之间的联合效应。
• 提出并验证两种简单且具有数学基础的解决方案：针对大参数使用ℓ₂正则化，针对深层网络使用重参数化（缩放）技术。
• 证明这些解决方案可在几乎不增加计算成本的前提下，恢复Sigmoid网络的训练稳定性和性能。

提出的方法

• 使用包含l个tanh神经元的简单前馈网络，每个神经元具有单个可训练权重，以解析方式建模梯度消失问题。
• 分析两种情形下的梯度行为：一种是单个参数过大的情形，另一种是多层堆叠的情形。
• 引入ℓ₂正则化作为大参数情形下的解决方案，证明其可限制梯度衰减。
• 提出一种重参数化（缩放）技术，通过重新缩放权重或激活值来稳定深层网络中的梯度。
• 在分类任务上通过多个随机种子进行实验评估，比较准确率和梯度统计特性。
• 在单一实验中结合两种方法，评估其协同效应，包括与ReLU的对比。

实验结果

研究问题

• RQ1 Sigmoid类网络中梯度消失问题的数学根源有哪些？
• RQ2 ℓ₂正则化能否有效缓解Sigmoid网络中因单个大参数导致的梯度消失？
• RQ3 重参数化（缩放）能否防止深层Sigmoid网络中因层数过多导致的梯度消失？
• RQ4 正则化与缩放结合是否能使Sigmoid网络在实践中达到甚至超过ReLU网络的性能？
• RQ5 这些简单且具有理论依据的技术能否使Sigmoid类激活函数在现代深度学习中重新具备实际可行性？

主要发现

• Sigmoid网络中单个参数过大可导致梯度消失，而ℓ₂正则化可有效缓解此问题。
• 在深层网络中，梯度消失源于累积效应，通过缩放权重或激活值可有效解决此问题。
• ℓ₂正则化与缩放相结合，相比标准训练，在大参数和深层网络两种情形下均能实现更快收敛和更高测试准确率。
• 实验证明，这些解决方案未引入显著计算开销，如在标准硬件上的运行时间测量所示。
• 实验结果表明，结合正则化与缩放的tanh网络优于标准训练方式，并在某些配置下甚至超过ReLU网络的性能。
• 本研究证明，当结合这些简单且数学上合理的技巧时，Sigmoid类激活函数在深度学习中仍具有强大竞争力。