[논문 리뷰] Invariance of Weight Distributions in Rectified MLPs

Russell Tsuchida, Farbod Roosta-Khorasani외 1명|arXiv (Cornell University)|2017. 11. 24.

Neural Networks and Applications참고 문헌 39인용 수 9

한 줄 요약

이 논문은 깊이 있는 ReLU 및 Leaky ReLU MLP의 등가 커널이 원형 대칭 가중치 분포에 대해 불변임을 입증하며, 이는 이전의 가우시안 분포에 국한된 결과를 일반화한다. 또한 평균이 0이고 세 번째 절댓값 모멘트가 유한한 가중치 분포에 대해 커널이 渐近적으로 가우시안 커널로 수렴함을 증명함으로써, 깊이 있는 네트워크에서의 학습 곤란을 설명하고 최적의 가중치 초기화 전략을 제안한다.

ABSTRACT

An interesting approach to analyzing neural networks that has received renewed attention is to examine the equivalent kernel of the neural network. This is based on the fact that a fully connected feedforward network with one hidden layer, a certain weight distribution, an activation function, and an infinite number of neurons can be viewed as a mapping into a Hilbert space. We derive the equivalent kernels of MLPs with ReLU or Leaky ReLU activations for all rotationally-invariant weight distributions, generalizing a previous result that required Gaussian weight distributions. Additionally, the Central Limit Theorem is used to show that for certain activation functions, kernels corresponding to layers with weight distributions having $0$ mean and finite absolute third moment are asymptotically universal, and are well approximated by the kernel corresponding to layers with spherical Gaussian weights. In deep networks, as depth increases the equivalent kernel approaches a pathological fixed point, which can be used to argue why training randomly initialized networks can be difficult. Our results also have implications for weight initialization.

연구 동기 및 목표

• 이전의 신경망 등가 커널 연구를 가우시안 가중치 분포에 국한된 것에서 모든 원형 대칭 분포로 일반화한다.
• 가중치 초기화가 깊이 있는 ReLU 및 Leaky ReLU 네트워크의 등가 커널에 어떻게 영향을 미치는지 분석한다.
• 깊이가 증가함에 따라 커널의 점점 증가하는 행동을 연구함으로써 깊이 있는 네트워크에서의 병적인 학습 행동을 설명한다.
• 비가우시안 가중치를 가진 깊이 있는 네트워크에서 기울기 안정성을 유지하는 가중치 초기화 전략에 대한 이론적 근거를 제공한다.

제안 방법

• 가중치 공간에 대한 적분 표현을 사용하여 원형 대칭 가중치 분포를 가진 단일 은닉층 ReLU 또는 Leaky ReLU MLP의 등가 커널을 유도한다.
• 중앙극한정리를 적용하여 평균이 0이고 세 번째 절댓값 모멘트가 유한한 가중치 분포에 대해 커널이 구면 가우시안 가중치의 커널로 渐近적으로 수렴함을 보인다.
• 연속 함수 정리와 균일 적분 가능성을 사용하여 커널 유도 과정에서 극한과 기대값의 순서를 바꾸는 것을 정당화한다.
• 깊이를 증가시킴으로써 깊은 네트워크로의 분석을 확장하고, 등가 커널이 병적인 固定点으로 수렴함을 보여준다.
• 커널 행동을 통해 전방 전파 중 정보 손실을 분석함으로써 산산이 찢어지는 기울기 문제의 프레임워크와 보완적인 시각을 제공한다.
• 커널이 원형 대칭 가중치 분포에 대해 불변임을 입증하며, 이는 이전에 가우시안 가중치에 국한된 결과를 일반화한다.

실험 결과

연구 질문

• RQ1 ReLU 또는 Leaky ReLU MLP의 등가 커널이 가우시안 외의 일반적인 원형 대칭 가중치 분포에 대해서도 불변인가?
• RQ2 깊이가 증가함에 따라 깊은 네트워크의 커널은 어떻게 행동하며, 고정점으로 수렴하는가?
• RQ3 비가우시안 가중치를 가진 네트워크의 커널은 가우시안 가중치 네트워크의 커널로 渐近적으로 근사될 수 있는가?
• RQ4 커널 불변성은 ReLU 활성화를 가진 깊은 네트워크의 가중치 초기화에 어떤 함의를 갖는가?
• RQ5 커널 행동은 깊은 네트워크에서 기울기 소실 또는 폭발 문제와 어떻게 관련되는가?

주요 결과

• ReLU 또는 Leaky ReLU MLP의 등가 커널은 원형 대칭 가중치 분포에 대해 불변이며, 이는 이전에 가우시안 가중치에 국한된 결과를 일반화한다.
• 평균이 0이고 절댓값의 세 번째 모멘트가 유한한 가중치 분포에 대해 커널은 구면 가우시안 가중치의 커널로 渐近적으로 수렴한다.
• 깊은 네트워크에서는 깊이가 증가함에 따라 등가 커널이 병적인 고정점에 수렴하며, 이는 무작위로 초기화된 깊은 네트워크의 학습 곤란을 설명한다.
• 커널 유도 과정을 통해 전방 전파 중 정보 손실을 정량적으로 분석할 수 있으며, 이는 산산이 찢어지는 기울기 문제의 프레임워크와 보완된다.
• 비가우시안 가중치 분포를 가진 깊은 ReLU 네트워크에서 기울기 안정성을 유지하는 가중치 초기화 전략에 대한 이론적 근거를 제공한다.
• 약한 모멘트 조건 하에서 커널이 보편적인 형태로 수렴함을 통해, 넓고 깊은 ReLU 네트워크에서 커널 기반 일반화의 강건성을 시사한다.