[论文解读] Continuously Differentiable Exponential Linear Units

Jonathan T. Barron|arXiv (Cornell University)|Apr 24, 2017

Control Systems and Identification参考文献 1被引用 103

一句话总结

本文提出了 CELU，一种对 ELU 的连续可微变体，具有统一参数化，确保平滑、导数有界、尺度相似，并包含 ReLU 和线性函数作为特例。它也给出相对于 x 和 alpha 的显式导数，并展示 alpha 变化时的极限行为。

ABSTRACT

Exponential Linear Units (ELUs) are a useful rectifier for constructing deep learning architectures, as they may speed up and otherwise improve learning by virtue of not have vanishing gradients and by having mean activations near zero. However, the ELU activation as parametrized in [1] is not continuously differentiable with respect to its input when the shape parameter alpha is not equal to 1. We present an alternative parametrization which is C1 continuous for all values of alpha, making the rectifier easier to reason about and making alpha easier to tune. This alternative parametrization has several other useful properties that the original parametrization of ELU does not: 1) its derivative with respect to x is bounded, 2) it contains both the linear transfer function and ReLU as special cases, and 3) it is scale-similar with respect to alpha.

研究动机与目标

• 解决当 alpha != 1 时 ELU 导数的不连续性。
• 提出一种对所有 alpha 值都连续的一阶（C1）连续的新参数化。
• 确保对 x 的导数有界，且模型易于优化。
• 展示 CELU 包含线性和 ReLU 作为特例，且在 alpha 上具有尺度相似性。

提出的方法

• 将 CELU 定义为 CELU(x, alpha) = x for x >= 0 and alpha( exp(x/alpha) - 1 ) for x < 0.
• 推导对 x 的导数：d/dx CELU(x, alpha) = 1 if x >= 0, exp(x/alpha) otherwise.
• 推导对 alpha 的导数：d/d alpha CELU(x, alpha) = 0 if x >= 0, exp(x/alpha)(1 - x/alpha) - 1 otherwise.
• 展示尺度相似性：CELU(x, alpha) = (1/c) CELU(c x, c alpha).
• 强调对 x 的导数有界，且高效计算使用 exp(x/alpha)。
• 解释极限情形：当 alpha -> 0+, CELU -> ReLU；当 alpha -> infinity，CELU -> x；以及 alpha=1 时的 ELU 与 CELU 相匹配。

实验结果

研究问题

• RQ1 CELU 的参数化在所有 alpha 值上是否保持连续可微？
• RQ2 CELU 相对于 x 和 alpha 的导数性质是什么？
• RQ3 CELU 如何与 ReLU 和线性激活相联系并在它们之间插值？
• RQ4 与原始 ELU 相比，CELU 在训练动态中提供了哪些实际好处？

主要发现

• CELU 对所有 alpha 值都是 C1 连续。
• CELU 对 x 的导数有界。
• CELU 同时包含线性传递和 ReLU 作为特例。
• CELU 具有尺度相似性：CELU(x, alpha) = (1/c) CELU(c x, c alpha)。
• 当 alpha -> 0+，CELU 收敛到 ReLU；当 alpha -> infinity，CELU 收敛到线性函数。
• 当 alpha = 1 时，CELU 等于 ELU。