[논문 리뷰] On Random Matrices Arising in Deep Neural Networks. Gaussian Case

L. А. Pastur|arXiv (Cornell University)|2020. 01. 17.

Statistical Mechanics and Entropy참고 문헌 26인용 수 19

한 줄 요약

이 논문은 랜덤 가우시안 가중치와 절편을 가진 딥 네ural 네트워크에서 입력-출력 야코비안의 특이값 분포를 랜덤 행렬 이론을 사용하여 분석한다. 네트워크의 너비가 커지는 점근적 조건 하에서, 정규화된 고유값 수세기 측도가 결정론적 한계로 거의 확실히 수렴함을 입증하며, 이는 데이터 행렬에 의존하는 모집단 공분산 행렬을 가진 비표준 설정에서 자유 확률 이론의 적용을 정당화한다.

ABSTRACT

The paper deals with distribution of singular values of product of random matrices arising in the analysis of deep neural networks. The matrices resemble the product analogs of the sample covariance matrices, however, an important difference is that the population covariance matrices, which are assumed to be non-random in the standard setting of statistics and random matrix theory, are now random, moreover, are certain functions of random data matrices. The problem has been considered in recent work [21] by using the techniques of free probability theory. Since, however, free probability theory deals with population matrices which are independent of the data matrices, its applicability in this case requires an additional justification. We present this justification by using a version of the standard techniques of random matrix theory under the assumption that the entries of data matrices are independent Gaussian random variables. In the subsequent paper [18] we extend our results to the case where the entries of data matrices are just independent identically distributed random variables with several finite moments. This, in particular, extends the property of the so-called macroscopic universality on the considered random matrices.

연구 동기 및 목표

• 랜덤 가우시안 가중치와 절편을 가진 딥 네트워크에서 입력-출력 야코비안의 특이값의 점근적 분포를 이해하는 것.
• 모집단 공분산 행렬이 데이터 행렬에 의존하는 비표준 설정에서 자유 확률 이론의 적용을 정당화하는 것.
• 네트워크의 너비가 증가함에 따라 야코비안의 그람 행렬의 정규화된 고유값 수세기 측도가 결정론적 한계로 거의 확실히 수렴함을 확립하는 것.
• i.i.d. 가우시안 가중치와 절편 가정 하에서 랜덤 딥 네트워크에서 매크로스코픽 유니버설리티에 대한 엄밀한 기초를 제공하는 것.

제안 방법

• 각 층의 너비의 역제곱근으로 스케일된 i.i.d. 가우시안 원소를 가진 랜덤 행렬의 곱으로 입력-출력 야코비안을 모델링한다.
• 고유값이 야코비안의 특이값을 결정하는 그람 행렬 $ M_{\mathbf{n}_L}^L = J_{\mathbf{n}_L}^L (J_{\mathbf{n}_L}^L)^T $ 를 정의한다.
• i.i.d. 가우시안 원소 가정 하에서 표준 랜덤 행렬 이론 기법을 적용하여 한계 스펙트럼 분포를 유도한다.
• 스티엘티jes 변환 방법을 사용하고, 한계 스펙트럼 측도의 스틸티예스 변환을 포함하는 연립 방정식을 해결한다.
• 복소수 상반평면과 음의 실수축에서 스틸티예스 변환에 대한 연립 방정식의 유일한 해를 증명한다.
• 층 너비 $ n_l \to \infty $ 일 때, 고유값의 한계 정규화 수세기 측도 $ \nu_{M^L} $ 가 존재하고 거의 확실히 수렴함을 확립한다.

실험 결과

연구 질문

• RQ1 랜덤 가우시안 가중치와 절편을 가진 딥 네트워크에서 입력-출력 야코비안의 특이값의 한계 분포는 무엇인가?
• RQ2 모집단 공분산 행렬이 데이터 행렬의 함수인 경우, 자유 확률 이론이 이 문제에 엄밀하게 적용될 수 있는가?
• RQ3 야코비안의 그람 행렬의 한계 스펙트럼 분포가 넓은 네트워크의 점근적 조건 하에서 거의 확실히 수렴하는가?
• RQ4 맥락적 유니버설리티가 i.i.d. 가정이 아닌 모집단 공분산 설정으로 어떻게 일반화되는가?

주요 결과

• 층 너비 $ \mathbf{n}_L \to \infty $ 일 때, 야코비안의 그람 행렬의 정규화된 고유값 수세기 측도 $ \nu_{M_{\mathbf{n}_L}^L} $ 가 거의 확실히 결정론적 한계 $ \nu_{M^L} $ 로 수렴한다.
• 한계 스펙트럼 측도 $ \nu_{M^L} $ 는 가중치 및 절편 행렬의 한계 측도의 스틸티예스 변환을 포함하는 방정식 시스템으로 특징지어진다.
• 스틸티예스 변환에 대한 연립 방정식은 복소수 상반평면과 음의 실수축에서 유일하게 해를 가지며, 이는 한계의 존재를 보장한다.
• 스틸티예스 변환을 매핑하는 변환의 야코비안이 가역적이며, 이는 해의 유일성과 한계 측도의 안정성을 보장한다.
• 해결책은 인용된 가우시안 가정을 바탕으로 하여, 데이터 행렬에 의존하는 모집단 행렬이 존재하는 비표준 설정에서 자유 확률 이론의 적용을 정당화한다.
• 결과적으로, i.i.d. 가우시안 가중치와 절편 가정 하에서 랜덤 딥 네트워크의 매크로스코픽 유니버설리티에 대한 엄밀한 기초를 확립한다.