[논문 리뷰] The Emergence of Spectral Universality in Deep Networks

Jeffrey Pennington, Samuel S. Schoenholz외 1명|arXiv (Cornell University)|2018. 02. 27.

Blind Source Separation Techniques참고 문헌 5인용 수 61

한 줄 요약

이 논문은 자유확률 기반 프레임워크를 개발하여 초기화 시 깊은 네트워크의 입력-출력 제이콥(자코비 행렬) 전체 스펙트럼을 특성화하고, 다양한 비선형성 및 가중치 유형에서도 깊이가 깊어질수록 지속되는 보편적 극한 스펙트럼 분포를 드러낸다.

ABSTRACT

Recent work has shown that tight concentration of the entire spectrum of singular values of a deep network's input-output Jacobian around one at initialization can speed up learning by orders of magnitude. Therefore, to guide important design choices, it is important to build a full theoretical understanding of the spectra of Jacobians at initialization. To this end, we leverage powerful tools from free probability theory to provide a detailed analytic understanding of how a deep network's Jacobian spectrum depends on various hyperparameters including the nonlinearity, the weight and bias distributions, and the depth. For a variety of nonlinearities, our work reveals the emergence of new universal limiting spectral distributions that remain concentrated around one even as the depth goes to infinity.

연구 동기 및 목표

• 전체 제이콥 스펙트럼이 비선형성, 가중치 분포, 편향 분포, 및 깊도에 어떻게 의존하는지 이해한다.
• 초기화 시 깊은 네트워크의 제이콥 스펙트럼의 극한 분포를 특성화한다.
• 빠른 학습을 위한 잘 조정된 제이콥 및 역학 아이소메트리 조건을 보장하는 영역을 식별한다.
• 비선형성과 가중치 변환으로부터 제이콥 스펙트럼을 계산하는 실용 가능한 마스터 방정식을 개발한다.

제안 방법

• J를 Diagonal(D^l)과 각 층의 가중치 행렬 W^l의 곱으로 모델링한다.
• 자유확률, 특히 S-변환을 사용하여 J J^T의 스펙트럼에 대한 암묵적 마스터 방정식을 도출한다.
• 마스터 방정식을 비선형성의 모멘트 생성 함수 M_{D^2}와 가중치의 S-변환 S_{W^T W}의 형태로 표현한다.
• 일반적인 비선형성(선형, ReLU, Hard Tanh, Erf)과 가중치 앙상블(직교, 가우시안)에 특수화하여 보편적 스펙트럼 예측을 얻는다.
• 마스터 방정식을 풀고 G(z)에 대한 근 찾기 절차를 통해 수치적으로 스펙트럼을 추출한다.
• M_{D^2}와 S_{W^T W}의 전개를 통해 제이콥 스펙트럼의 모멘트 m_k를 계산하여 깊이에 따른 분산 스케일링을 평가한다.

실험 결과

연구 질문

• RQ1 깊은 네트워크에서 입력-출력 제이콥 J J^T의 전체 극한 분포는 무엇인가?
• RQ2 비선형성, 가중치/편향 분포 및 네트워크 깊이가 평균(chi^L)을 넘어서 스펙트럼에 어떠한 영향을 주는가?
• RQ3 깊이가 증가함에 따라 보편적 극한 스펙트럼 분포가 나타나는가? 어떤 조건에서(예: 직교 가중치, 임계 초기화) 그런가?
• RQ4 임의의 비선형성과 가중치 변환에 대해 스펙트럼을 포괄적으로 포착하는 간략한 마스터 방정식이 존재하는가?

주요 결과

• 임계 초기화에서 J J^T의 전체 스펙트럼은 하나에 집중하고, 그 모멘트는 깊이에 따라 chi^L에 의해 좌우되지만, 임계 경계에서 평균은 여전히 1이고 고차 모멘트만 깊이에 따라 증가한다.
• 두 가지 보편적 극한 스펙트럼 클래스가 등장한다: 직교 가중치의 경우 Bernoulli 유사(Hard Tanh, Shifted ReLU) 및 Smooth(Erf, Smoothed ReLU)로 구분되며 각기 다른 극한 분포를 갖는다.
• ReLU는 안정된 극한 스펙트럼을 파괴하는 반면, Hard Tanh와 Erf는 특정 이중 스케일링 한계에서 깊이에 따라 분산이 일정하게 유지될 수 있다.
• 마스터 방정식은 M_{D^2}와 S_{W^T W}를 스펙트럼과 연결하여 G(z)와 Stieltjes 역산을 통해 전체 밀도의 실용적 계산을 가능하게 한다.
• 극한 밀도에서의 스펙트럴 엣지와 델타 함수 피크는 Bernoulli 계열에서 G(z)의 해석적 형태와 Lambert W 함수로 예측될 수 있다.
• 직교 네트워크의 경우, 보편성 계급은 깊이에 걸쳐 지속되며 수렴 속도는 비선형성에 의존한다.