[논문 리뷰] Resurrecting the sigmoid in deep learning through dynamical isometry: theory and practice

Jeffrey Pennington, Samuel S. Schoenholz외 1명|arXiv (Cornell University)|2017. 11. 13.

Model Reduction and Neural Networks참고 문헌 10인용 수 69

한 줄 요약

본 논문은 심층 네트워크에서 전체 Jacobian 특이값 분포를 분석하여 ReLU가 dynamical isometry를 유지하지 못하는 반면 직교 시그모이드 네트워크가 이를 달성할 수 있음을 보이고, 이것이 실제로 학습 속도를 크게 높이고 일반화 성능을 향상시킨다는 점을 보여준다.

ABSTRACT

It is well known that the initialization of weights in deep neural networks can have a dramatic impact on learning speed. For example, ensuring the mean squared singular value of a network's input-output Jacobian is $O(1)$ is essential for avoiding the exponential vanishing or explosion of gradients. The stronger condition that all singular values of the Jacobian concentrate near $1$ is a property known as dynamical isometry. For deep linear networks, dynamical isometry can be achieved through orthogonal weight initialization and has been shown to dramatically speed up learning; however, it has remained unclear how to extend these results to the nonlinear setting. We address this question by employing powerful tools from free probability theory to compute analytically the entire singular value distribution of a deep network's input-output Jacobian. We explore the dependence of the singular value distribution on the depth of the network, the weight initialization, and the choice of nonlinearity. Intriguingly, we find that ReLU networks are incapable of dynamical isometry. On the other hand, sigmoidal networks can achieve isometry, but only with orthogonal weight initialization. Moreover, we demonstrate empirically that deep nonlinear networks achieving dynamical isometry learn orders of magnitude faster than networks that do not. Indeed, we show that properly-initialized deep sigmoidal networks consistently outperform deep ReLU networks. Overall, our analysis reveals that controlling the entire distribution of Jacobian singular values is an important design consideration in deep learning.

연구 동기 및 목표

• 깊이, 가중치 초기화, 비선형성에 따라 입력-출력 Jacobian의 전체 특이값 분포가 어떻게 달라지는지 이해한다.
• 모든 특이값이 거의 1에 근접한 dynamical isometry를 달성할 수 있는 초기화와 비선형성의 조합을 식별한다.
• 딥 비선형 네트워크에서 dynamical isometry가 학습 속도와 일반화에 어떻게 상관되는지 정량화한다.
• 훈련 효율성을 개선하기 위한 네트워크 설계 및 초기화에 대한 실용적 가이드를 제공한다.

제안 방법

• Free probability 및 S-transform 기법을 사용하여 large-width 한계에서 입력-출력 Jacobian J의 전체 특이값 밀도를 계산한다.
• 다양한 비선형성 형태와 가중치 앙상블(가우시안 및 직교)에 대해 WW^T 및 D^2의 S-transform 표현식을 도출한다.
• 선형, ReLU, hard-tanh 네트워크를 분석하여 dynamical isometry의 가능성을 비교한다.
• J J^T의 스펙트럼을 최대 고유값 및 고유값 분포의 분산과 같은 지표를 통해 학습 다이내믹에 연관시킨다.
• 이론적 예측을 수치 시뮬레이션 및 CIFAR-10 실험으로 검증하여 서로 다른 초기화 하에서 학습 속도를 평가한다.

실험 결과

연구 질문

• RQ1 네트워크 깊이, 가중치 통계, 비선형성에 따라 Jacobian 특이값의 전체 분포가 어떻게 달라지는가?
• RQ2 모든 특이값이 1에 가까운 dynamical isometry를 달성할 수 있는 가중치 초기화와 비선형성의 조합은 무엇인가?
• RQ3 dynamical isometry를 달성하는 비선형 네트워크가 그렇지 않은 네트워크보다 더 빨리 학습하는가, 그리고 이것이 아키텍처와 최적화에 따라 어떻게 달라지는가?

주요 결과

• ReLU 네트워크는 dynamical isometry를 달성할 수 없으며, 깊이가 늘어도 Jacobian 스펙트럼이 좋지 않게 유지된다.
• 직교 시그모이드 네트워크는 dynamical isometry를 달성할 수 있으며, 깊이가 커져도 최대 특이값이 O(1)을 유지하는 반면 가우시안 또는 ReLU의 경우 그렇지 않다.
• 가우시안 초기화는 임계상에서조차 dynamical isometry를 유지하지 못하는데, 최대 고유값과 스펙트럴 분산이 깊이에 따라 증가한다.
• 직교 hard-tanh 네트워크의 경우 고정점에서 분산 q*를 낮추고 선형-구간의 비율 p(q*)를 늘려 dynamical isometry에 근접할 수 있다.
• 실험 결과 직교 tanh 네트워크가 CIFAR-10에서 ReLU 네트워크보다 학습 속도가 수 배 빠르게 나타나며 학습 시간은 깊이에 대해 대략 O(sqrt(L)) 수준으로 비선형적으로 감소한다.
• 초기화 시 dynamical isometry를 달성하면 훈련의 상당 부분에 걸쳐 이를 지속할 수 있으며, 일부 비제로 초기 q*가 학습 속도와 일반화 둘 다를 최적화할 수 있다.