[論文レビュー] Continuously Differentiable Exponential Linear Units

Jonathan T. Barron|arXiv (Cornell University)|Apr 24, 2017

Control Systems and Identification参考文献 1被引用数 103

ひとこと要約

この論文は CELU を導入する。CELU は ELU の連続的に微分可能な変形で、統一パラメータ化により滑らかさ、制限された微分、スケール類似性を保証し、ReLU と線形関数の両方を特殊ケースとして含む。さらに x と alpha に対する明示的な微分を提供し、alpha が変化する際の極限挙動を示す。

ABSTRACT

Exponential Linear Units (ELUs) are a useful rectifier for constructing deep learning architectures, as they may speed up and otherwise improve learning by virtue of not have vanishing gradients and by having mean activations near zero. However, the ELU activation as parametrized in [1] is not continuously differentiable with respect to its input when the shape parameter alpha is not equal to 1. We present an alternative parametrization which is C1 continuous for all values of alpha, making the rectifier easier to reason about and making alpha easier to tune. This alternative parametrization has several other useful properties that the original parametrization of ELU does not: 1) its derivative with respect to x is bounded, 2) it contains both the linear transfer function and ReLU as special cases, and 3) it is scale-similar with respect to alpha.

研究の動機と目的

• alpha != 1 のとき ELU の導関数の不連続性に対処する。
• すべての alpha 値に対してC1連続となる新しいパラメトリゼーションを提案する。
• x に関する導関数が有界で、モデルの最適化が容易なままにする。
• CELU が線形および ReLU を特殊ケースとして含み、alpha に対してスケール類似であることを示す。

提案手法

• CELU を CELU(x, alpha) = x for x >= 0 and alpha( exp(x/alpha) - 1 ) for x < 0 と定義する。
• x に関する導関数を導出: d/dx CELU(x, alpha) = 1 if x >= 0, exp(x/alpha) otherwise.
• alpha に関する導関数を導出: d/d alpha CELU(x, alpha) = 0 if x >= 0, exp(x/alpha)(1 - x/alpha) - 1 otherwise.
• スケール類似を示す: CELU(x, alpha) = (1/c) CELU(c x, c alpha).
• x に関する導関数が有界であることと、計算が効率的で exp(x/alpha) を用いることを強調する。
• limiting cases を説明: alpha -> 0+ のとき CELU -> ReLU; alpha -> infinity のとき CELU -> x; alpha=1 の ELU は CELU と一致する。

実験結果

リサーチクエスチョン

• RQ1 CELU のパラメトリゼーションはすべての alpha 値に対して連続的微分可能性を保つか。
• RQ2 CELU の x および alpha に関する導関数の性質は何か。
• RQ3 CELU は ReLU と線形活性の間でどのように関連し、補間するか。
• RQ4 トレーニングダイナミクスにおいて、元の ELU と比較して CELU はどのような実用的利点を提供するか。

主な発見

• CELU はすべての alpha 値に対して C1 連続である。
• x に関する導関数は CELU で有界である。
• CELU は線形転送と ReLU の両方を特殊ケースとして含む。
• CELU はスケール類似: CELU(x, alpha) = (1/c) CELU(c x, c alpha).
• alpha -> 0+ のとき CELU は ReLU に収束; alpha -> infinity のとき CELU は線形関数に収束する。
• alpha = 1 のとき CELU は ELU と等価である。