[논문 리뷰] Continuously Differentiable Exponential Linear Units

Jonathan T. Barron|arXiv (Cornell University)|2017. 04. 24.

Control Systems and Identification참고 문헌 1인용 수 103

한 줄 요약

본 논문은 CELU를 제시한다. 이는 ELU의 연속적으로 미분 가능한 변형으로, 매개변수화를 통일하여 매끄러움, 경계가 있는 도함수, 스케일-유사성 등을 보장하고 ReLU 및 선형 함수가 특수한 경우로 포함된다. 또한 x 및 alpha에 대한 명시적 도함수를 제공하고 alpha가 달라질 때의 극한 거동을 보인다.

ABSTRACT

Exponential Linear Units (ELUs) are a useful rectifier for constructing deep learning architectures, as they may speed up and otherwise improve learning by virtue of not have vanishing gradients and by having mean activations near zero. However, the ELU activation as parametrized in [1] is not continuously differentiable with respect to its input when the shape parameter alpha is not equal to 1. We present an alternative parametrization which is C1 continuous for all values of alpha, making the rectifier easier to reason about and making alpha easier to tune. This alternative parametrization has several other useful properties that the original parametrization of ELU does not: 1) its derivative with respect to x is bounded, 2) it contains both the linear transfer function and ReLU as special cases, and 3) it is scale-similar with respect to alpha.

연구 동기 및 목표

• alpha != 1일 때 ELU 도함수의 불연속성을 해결한다.
• 모든 alpha 값에서 C1 연속인 새로운 매개변수화를 제안한다.
• x에 대한 도함수가 한정되고 모델 최적화가 용이하게 유지되도록 한다.
• CELU가 선형 및 ReLU를 특수한 경우로 포함하고 alpha에서 스케일-유사성을 가진다는 것을 보인다.

제안 방법

• CELU를 CELU(x, alpha) = x for x >= 0 and alpha( exp(x/alpha) - 1 ) for x < 0 로 정의한다.
• x에 대한 도함수 유도: d/dx CELU(x, alpha) = 1 if x >= 0, exp(x/alpha) otherwise.
• alpha에 대한 도함수 유도: d/d alpha CELU(x, alpha) = 0 if x >= 0, exp(x/alpha)(1 - x/alpha) - 1 otherwise.
• 스케일-유사성 보여주기: CELU(x, alpha) = (1/c) CELU(c x, c alpha).
• x에 대한 도함수가 한정됨을 강조하고, 효율적인 계산은 exp(x/alpha)를 사용한다.
• 극한 경우를 설명: alpha -> 0+일 때 CELU는 ReLU로 수렴; alpha -> infinity일 때 CELU는 x로 수렴; 그리고 alpha=1인 ELU는 CELU와 일치한다.

실험 결과

연구 질문

• RQ1 CELU 매개변수화는 모든 alpha 값에 대해 연속적으로 미분 가능하게 남아 있는가?
• RQ2 x 및 alpha에 대한 CELU의 도함수 성질은 무엇인가?
• RQ3 CELU는 ReLU와 선형 활성 간의 관계 및 보간은 어떻게 이루어지는가?
• RQ4 원래 ELU와 비교하여 학습 동역학에서 CELU가 제공하는 실용적 이점은 무엇인가?

주요 결과

• CELU는 모든 alpha 값에 대해 C1 연속이다.
• CELU에서 x에 대한 도함수는 한정되어 있다.
• CELU는 선형 전달과 ReLU를 특수한 경우로 포함한다.
• CELU는 스케일-유사하다: CELU(x, alpha) = (1/c) CELU(c x, c alpha).
• alpha -> 0+일 때 CELU는 ReLU로 수렴; alpha -> infinity일 때 CELU는 선형 함수로 수렴한다.
• alpha = 1일 때 CELU는 ELU와 같다.