[논문 리뷰] Eigenvalue distribution of nonlinear models of random matrices

Lucas Benigni, Sandrine Péché|arXiv (Cornell University)|2019. 04. 05.

Random Matrices and Applications참고 문헌 26인용 수 25

한 줄 요약

이 논문은 깊이 있는 신경망에서 발생하는 비선형 랜덤 행렬 집합의 渐近 고유값 분포를 규명한다. 여기서 행렬 곱은 실해석적 활성화 함수를 통해 비선형적으로 변환된다. 기존의 가우시안 행렬에 대한 결과를 서브가우시안 가중치로 확장하며, 고차원 극한에서 경험적 고유값 분포가 활성화 함수와 입력/출력 차원에 의해 결정되는 결정론적 극한으로 수렴함을 증명한다. 또한 다층 아키텍처에서 모멘트 수렴에 대한 명시적 분산 경계를 제시한다.

ABSTRACT

This paper is concerned with the asymptotic empirical eigenvalue distribution of a non linear random matrix ensemble. More precisely we consider $M= \frac{1}{m} YY^*$ with $Y=f(WX)$ where $W$ and $X$ are random rectangular matrices with i.i.d. centered entries. The function $f$ is applied pointwise and can be seen as an activation function in (random) neural networks. We compute the asymptotic empirical distribution of this ensemble in the case where $W$ and $X$ have sub-Gaussian tails and $f$ is real analytic. This extends a previous result where the case of Gaussian matrices $W$ and $X$ is considered. We also investigate the same questions in the multi-layer case, regarding neural network applications.

연구 동기 및 목표

• 딥 러닝 아키텍처에서 비선형 랜덤 행렬 모델의 渐近 경험적 고유값 분포를 특성화하는 것.
• 기존의 가우시안 랜덤 행렬에 대한 결과를 실해석적 활성화 함수를 갖는 서브가우시안 가중치 행렬로 확장하는 것.
• 고차원 점근에서 다층 신경망 모델의 스펙트럼 성질을 분석하는 것.
• 다층 아키텍처에서 경험적 고유값 분포의 모멘트 수렴과 분산 경계를 확립하는 것.

제안 방법

• 이sov의 그래프를 통한 모멘트의 다이어그램 전개를 사용하여 渐 asymptotic 고유값 분포를 계산한다.
• 집중 부등식과 서브가우시안 尾 꼬리 경계를 적용하여 행렬 원소의 변동성을 통제한다.
• 비선형성을 한계에서 다루기 위해 해석적 활성화 함수의 다항식 근사를 사용한다.
• 그래프 쌍 간의 비영인 공분산 항을 식별하여 모멘트의 분산을 분석한다.
• 경험적 모멘트의 분산에 대한 경계를 유도하며, 이는 마르체노-파스트르 유사한 극한으로 수렴함을 보여준다.
• 재귀적 레이어별 분석을 통해 단일 레이어에서 다층 모델으로 결과를 확장한다.

실험 결과

연구 질문

• RQ1 가중치가 서브가우시안일 때, 즉 가우시안이 아닐 때, 비선형 랜덤 행렬의 경험적 고유값 분포는 고차원 극한에서 어떻게 행동하는가?
• RQ2 $ Y = f(WX) $일 때, 행렬 $ \frac{1}{m} Y^*Y $의 극한 스펙트럼 분포는 무엇인가? 여기서 $ f $는 실해석적이고 $ W,X $는 i.i.d. 서브가우시안 원소를 갖는다.
• RQ3 점근적 영역에서 신경망의 스펙트럼 성질은 활성화 함수의 선택에 따라 어떻게 달라지는가?
• RQ4 다층 모델에서 경험적 모멘트가 그 결정론적 극한으로 수렴하는 속도는 어떠한가?
• RQ5 경험적 고유값 모멘트의 분산은 네트워크 깊이와 활성화 함수 성질에 따라 경계를 가질 수 있는가?

주요 결과

• 서브가우시안일지라도 $ W $와 $ X $가 서브가우시안일 때, $ \frac{1}{m} Y^*Y $의 渐 asymptotic 경험적 고유값 분포는 활성화 함수 $ f $에 따라 결정되는 결정론적 극한으로 수렴한다.
• 차수 $ \frac{1}{L-1} \log n_1 / \log \log n_1 $ 이하의 다항식 활성화 함수에 대해, 극한 모멘트는 적절한 형상 매개수를 갖는 마르체노-파스트르 분포와 일치한다.
• $ q $-번째 경험적 모멘트의 분산은 $ O\left( \frac{k^{4L+4}}{n_0^2} \right) $ 이하로 경계되며, 적절한 스케일링 하에서 수렴을 보장한다.
• 유계 해석적 $ f $에 대해, 진짜 행렬 원소와 근사된 원소의 차이는 임의의 다항식보다 더 빠르게 감소하므로 모멘트 수렴이 가능해진다.
• 모멘트 분산의 주요 기여 요소는 마지막 두 레이어에서의 식별, 특히 $ X $-원소 간의 상호작용이며, 서브가우시안 꼬리 감소 특성에 기인한다.
• 높은 확률로 각 레이어의 가중합은 유계를 유지하여 스펙트럼 분포의 안정성과 수렴성을 보장한다.