[论文解读] Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs)

Djork-Arné Clevert, Thomas Unterthiner+1 more|arXiv (Cornell University)|Nov 23, 2015

Domain Adaptation and Few-Shot Learning参考文献 41被引用 2,311

一句话总结

ELU 引入负值激活，将平均激活推向零附近，加速学习并提升深层网络的泛化，在 CIFAR 与 ImageNet 上优于 ReLU 变体。

ABSTRACT

We introduce the "exponential linear unit" (ELU) which speeds up learning in deep neural networks and leads to higher classification accuracies. Like rectified linear units (ReLUs), leaky ReLUs (LReLUs) and parametrized ReLUs (PReLUs), ELUs alleviate the vanishing gradient problem via the identity for positive values. However, ELUs have improved learning characteristics compared to the units with other activation functions. In contrast to ReLUs, ELUs have negative values which allows them to push mean unit activations closer to zero like batch normalization but with lower computational complexity. Mean shifts toward zero speed up learning by bringing the normal gradient closer to the unit natural gradient because of a reduced bias shift effect. While LReLUs and PReLUs have negative values, too, they do not ensure a noise-robust deactivation state. ELUs saturate to a negative value with smaller inputs and thereby decrease the forward propagated variation and information. Therefore, ELUs code the degree of presence of particular phenomena in the input, while they do not quantitatively model the degree of their absence. In experiments, ELUs lead not only to faster learning, but also to significantly better generalization performance than ReLUs and LReLUs on networks with more than 5 layers. On CIFAR-100 ELUs networks significantly outperform ReLU networks with batch normalization while batch normalization does not improve ELU networks. ELU networks are among the top 10 reported CIFAR-10 results and yield the best published result on CIFAR-100, without resorting to multi-view evaluation or model averaging. On ImageNet, ELU networks considerably speed up learning compared to a ReLU network with the same architecture, obtaining less than 10% classification error for a single crop, single model network.

研究动机与目标

• 倡导推动平均激活向零方向的激活函数，以减少学习中的偏置移位。
• 开发对负值饱和的 ELU，以提高对噪声的鲁棒性和学习稳定性。
• 在标准视觉基准数据集上展示基于 ELU 的网络更快的收敛速度和更好的泛化性能。

提出的方法

• 定义 ELU 激活：f(x)=x 当 x>0 时，f(x)=α(exp(x)-1) 当 x≤0 时，且 α>0。
• 使用单位自然梯度分析偏置移位，并展示激活特性如何影响学习动力学。
• 在 MNIST、CIFAR-10/100、ImageNet 上将 ELU 与 ReLU、Leaky ReLU、Shifted ReLU 进行对比。
• 评估带有与不带有批量归一化的 ELU 网络。
• 训练深度自编码器和卷积网络以评估学习速度和泛化能力。

实验结果

研究问题

• RQ1 在深层网络中，ELU 是否相对于基于 ReLU 的激活加速学习？
• RQ2 ELU 是否能在标准视觉基准如 CIFAR-10/100 和 ImageNet 上提升泛化？
• RQ3 与其他激活相比，ELU 如何与批量归一化交互？
• RQ4 ELU 的负值饱和在鲁棒性和表示质量方面的作用是什么？

主要发现

网络	CIFAR-10（测试误差 %）	CIFAR-100（测试误差 %）	扩增的
AlexNet	18.04	45.80
DSN	7.97	34.57
NiN	8.81	35.68
Maxout	9.38	38.57
All-CNN	7.25	33.71
Highway Network	7.60	32.24
Fract. Max-Pooling	4.50	27.62
ELU-Network	6.55	24.28

• ELU 网络在超五层的网络中实现更快的学习速度并显著优于 ReLU 和 Leaky ReLU 的泛化。
• 在 CIFAR-100 上，ELU 网络设定了新的最先进结果，无需多视角评估或模型平均（最佳公开结果）。
• 在若干设置中，ELU 网络在 CIFAR-100 和 CIFAR-10 上的批量归一化条件下优于 ReLU 网络。
• 在 ImageNet 上，ELU 网络比等效 ReLU 网络收敛更快，较早达到 20% top-5 错误率（160k vs 200k 迭代次数）。
• 在所研究的数据集上，ELU 网络保持比竞争激活更低的训练损失和测试损失。
• ELU 在负区域饱和，降低前向传播的方差，产生更健壮的表示。