[论文解读] Convergence Results for Neural Networks via Electrodynamics

Panigrahy, Rina, Rahimi, Ali+2 more|arXiv (Cornell University)|Jan 1, 2018

Neural Networks and Applications被引用 2,932

一句话总结

本文提出了指数线性单元（ELU）激活函数，通过将平均激活值推向零，减少偏差偏移并改善梯度流动，从而加速深度学习。ELU在CIFAR-100上实现了24.28%的测试误差，达到当前最优性能，且在ImageNet上以更少的训练轮次达到竞争力的结果，优于ReLU网络。

ABSTRACT

We study whether a depth two neural network can learn another depth two network using gradient descent. Assuming a linear output node, we show that the question of whether gradient descent converges to the target function is equivalent to the following question in electrodynamics: Given k fixed protons in R^d, and k electrons, each moving due to the attractive force from the protons and repulsive force from the remaining electrons, whether at equilibrium all the electrons will be matched up with the protons, up to a permutation. Under the standard electrical force, this follows from the classic Earnshaw's theorem. In our setting, the force is determined by the activation function and the input distribution. Building on this equivalence, we prove the existence of an activation function such that gradient descent learns at least one of the hidden nodes in the target network. Iterating, we show that gradient descent can be used to learn the entire network one node at a time.

研究动机与目标

• 解决ReLU类单元因非零均值激活导致的偏差偏移问题。
• 通过设计一种将激活值更贴近零点的激活函数，减少对批量归一化的依赖，从而提升学习速度和泛化能力。
• 开发一种激活函数，在保持对噪声鲁棒的去激活状态的同时，实现稳定且饱和的负向输出，以提升表征学习能力。
• 证明ELU在视觉基准测试中，相较于ReLU、LReLU、PReLU和批量归一化，在收敛速度和测试准确率方面表现更优。

提出的方法

• 提出ELU激活函数：当x > 0时，f(x) = x；当x ≤ 0时，f(x) = α(e^x - 1)，其中α > 0为可学习或固定的超参数。
• 利用自然梯度框架从理论上证明，通过零均值激活减少偏差偏移可加速学习，使标准梯度与单位自然梯度对齐。
• 使用单位Fisher信息矩阵建模偏差偏移效应，并表明ELU通过确保小输入下的负向饱和，有效降低了该效应。
• 采用标准训练协议实现ELU网络：权重初始化、L2正则化、Dropout和数据增强，无需多视图推理或模型平均。
• 在CIFAR-10、CIFAR-100和ImageNet上，对多种架构的ELU网络与ReLU、LReLU、PReLU及批量归一化进行对比。
• 在ImageNet上通过学习率衰减、动量和空间金字塔池化（SPP）优化训练，以提升泛化能力和收敛速度。

实验结果

研究问题

• RQ1 一种在负向饱和至负值的激活函数是否能减少深层网络中的偏差偏移并提升学习速度？
• RQ2 一种具有平滑负向饱和平台的激活函数是否相比ReLU及其变体对噪声更具鲁棒性？
• RQ3 ELU是否能在不使用批量归一化的情况下实现优于ReLU网络的泛化能力？当应用于ELU网络时，其性能是否优于批量归一化？
• RQ4 在CIFAR-10和CIFAR-100上，ELU网络的性能与当前最优模型相比如何，特别是在测试误差和收敛速度方面？
• RQ5 与相同架构的ReLU网络相比，ELU在大规模数据集（如ImageNet）上能将训练速度提升多少？

主要发现

• 在CIFAR-100上，ELU网络实现了24.28%的测试误差，未使用多视图评估或模型平均，创下新的最先进结果。
• ELU网络在CIFAR-100上优于使用批量归一化的ReLU网络，且批量归一化无法进一步提升ELU性能。
• 在CIFAR-10上，ELU网络实现了6.55%的测试误差，位列报告结果前10名。
• 在ImageNet上，ELU网络在单图单模型设置下达到top-5验证误差低于10%，且训练速度比ReLU网络快20%——在160k次迭代内达到目标，而ReLU网络需200k次迭代。
• ELU网络在ImageNet上的收敛所需训练轮次少于ReLU网络，表明其具有更快的学习动态。
• 尽管在ImageNet上存在5%的推理速度损失，但由于激活函数计算成本极低，对总训练时间影响甚微。