[논문 리뷰] Effect of Activation Functions on the Training of Overparametrized Neural Nets

Abhishek Panigrahi, Abhishek Shetty외 1명|arXiv (Cornell University)|2019. 08. 16.

Stochastic Gradient Optimization Techniques참고 문헌 50인용 수 12

한 줄 요약

이 논문은 합성 데이터에서 과다매개변수화된 두층 신경망의 학습 동역학에 대해 다양한 활성화 함수(ReLU, ELU, Swish, tanh)가 미치는 영향을 조사한다. 평균 제곱 오차 손실과 고정된 출력 가중치를 사용하여, ReLU가 영 training 오차로 수렴하는 데 가장 빠르며, 그 다음으로 ELU, Swish, tanh의 순서로 수렴하며, 수렴 속도는 초기화 시의 그람 행렬 고유값과 강하게 상관된다.

ABSTRACT

It is well-known that overparametrized neural networks trained using gradient-based methods quickly achieve small training error with appropriate hyperparameter settings. Recent papers have proved this statement theoretically for highly overparametrized networks under reasonable assumptions. These results either assume that the activation function is ReLU or they crucially depend on the minimum eigenvalue of a certain Gram matrix depending on the data, random initialization and the activation function. In the later case, existing works only prove that this minimum eigenvalue is non-zero and do not provide quantitative bounds. On the empirical side, a contemporary line of investigations has proposed a number of alternative activation functions which tend to perform better than ReLU at least in some settings but no clear understanding has emerged. This state of affairs underscores the importance of theoretically understanding the impact of activation functions on training. In the present paper, we provide theoretical results about the effect of activation function on the training of highly overparametrized 2-layer neural networks. A crucial property that governs the performance of an activation is whether or not it is smooth. For non-smooth activations such as ReLU, SELU and ELU, all eigenvalues of the associated Gram matrix are large under minimal assumptions on the data. For smooth activations such as tanh, swish and polynomials, the situation is more complex. If the subspace spanned by the data has small dimension then the minimum eigenvalue of the Gram matrix can be small leading to slow training. But if the dimension is large and the data satisfies another mild condition, then the eigenvalues are large. If we allow deep networks, then the small data dimension is not a limitation provided that the depth is sufficient. We discuss a number of extensions and applications of these results.

연구 동기 및 목표

• 과다매개변수화된 신경망에서 활성화 함수 선택이 학습 동역학에 미치는 영향을 이해한다.
• 과다매개변수화된 영역에서 활성화 함수가 수렴 속도에 영향을 미치는지 조사한다.
• 초기화 시 그람 행렬의 고유값이 학습 속도 결정에 미치는 역할을 분석한다.
• 제어된 레이블링을 가진 합성 데이터에서 여러 시행에 걸쳐 ReLU, ELU, Swish, tanh를 비교한다.
• 과다매개변수화 설정에서 고유값 크기와 수렴 행동 간 이론적 기대를 검증한다.

제안 방법

• 첫 번째 레이어에 10^6개의 뉴런을 가진 두층 신경망을 평균 제곱 오차 손실로 훈련한다.
• 학습 중 출력 레이어 가중치를 고정하여 첫 번째 레이어 활성화의 영향을 분리한다.
• 합성 데이터 사용: S^1 상에 균일하게 분포된 n개의 점을 S^9로 올리고 랜덤하게 ±1로 레이블링한다.
• 5개의 랜덤 시행에 걸쳐 평균 내어 에포크 수에 따른 제곱 손실을 평가한다.
• 초기화 시 그람 행렬 G를 분석하여 활성화 함수 간 고유값 분포를 연구한다.
• 수렴 속도의 차이를 설명하기 위해 고유값 크기와 그들의 학습 중 변화를 비교한다.

실험 결과

연구 질문

• RQ1 과다매개변수화된 두층 네트워크에서 활성화 함수 선택이 수렴 속도에 어떤 영향을 미치는가?
• RQ2 초기화 시 그람 행렬의 고유값이 크면 수렴 속도가 더 빠른가?
• RQ3 ReLU, ELU, Swish, tanh는 시간이 지남에 따라 훈련 손실 감소에서 어떻게 비교되는가?
• RQ4 과다매개변수화된 영역에서는 학습 중에 고유값과 고유벡터가 안정적인가?
• RQ5 초기 그람 행렬 성질이 활성화 함수 간 상대적 훈련 성능을 예측할 수 있는가?

주요 결과

• ReLU는 ELU, Swish, tanh보다 영 훈련 오차로 수렴하는 데 훨씬 빠르게 도달한다.
• ELU는 Swish와 tanh보다 수렴 속도가 빠르지만, ReLU보다는 느리다.
• 초기화 시 그람 행렬의 고유값은 ReLU와 ELU에서 가장 크며, tanh와 Swish에서 가장 작다.
• 고유값과 고유벡터는 학습 전반에 걸쳐 거의 일정하게 유지되어 과다매개변수화 영역임을 확인한다.
• 수렴 속도 순서(ReLU > ELU > Swish > tanh)는 초기 그람 행렬 고유값의 크기와 직접적으로 상관된다.
• 관측된 학습 동역학은 초기 그람 행렬의 구조가 최적화 속도에 영향을 준다는 이론적 기대와 일치한다.