[논문 리뷰] Spectrum concentration in deep residual learning: a free probability approach

Zenan Ling, Xing He외 1명|arXiv (Cornell University)|2018. 07. 31.

Statistical Mechanics and Entropy참고 문헌 27인용 수 5

한 줄 요약

이 논문은 깊이 있는 잔차 신경망에서 가중치 초깃값에 대한 자유 확률론 기반 분석을 제안하며, 입력-출력 자코비안의 스펙트럼 농도를 보장하기 위해 초기 가중치의 분산이 네트워크 깊이 $L$에 따라 $O(1/L)$로 스케일링되어야 한다고 보여준다. 비에르미트 랜덤 행렬의 극한 스펙트럼 분포를 분석함으로써 저자들은 이러한 스케일링이 기울기 소실 또는 폭발을 방지함으로써 기존의 초기화 기법보다 수십 배에서 수백 배 빠른 학습 속도를 가능하게 한다.

ABSTRACT

We revisit the initialization of deep residual networks (ResNets) by introducing a novel analytical tool in free probability to the community of deep learning. This tool deals with non-Hermitian random matrices, rather than their conventional Hermitian counterparts in the literature. As a consequence, this new tool enables us to evaluate the singular value spectrum of the input-output Jacobian of a fully-connected deep ResNet for both linear and nonlinear cases. With the powerful tool of free probability, we conduct an asymptotic analysis of the spectrum on the single-layer case, and then extend this analysis to the multi-layer case of an arbitrary number of layers. In particular, we propose to rescale the classical random initialization by the number of residual units, so that the spectrum has the order of $O(1)$, when compared with the large width and depth of the network. We empirically demonstrate that the proposed initialization scheme learns at a speed of orders of magnitudes faster than the classical ones, and thus attests a strong practical relevance of this investigation.

연구 동기 및 목표

• 깊이 있는 잔차 신경망에서 효과적인 가중치 초기화의 이면에 있는 이론적 이해 부족 문제를 해결하기 위해.
• 기본적인 초기화 기법들(예: 헤의 기법)이 깊이 있는 ResNets에서 악조건의 자코비안을 방지하지 못하는 이유를 탐구하기 위해.
• 깊이 있는 잔차 신경망에서 입력-출력 자코비안의 스펙트럼 특성을 분석하기 위해 자유 확률론을 활용한 이론적 프레임워크를 수립하기 위해.
• 백프로파게이션 동안 안정적인 기울기 흐름을 보장하는 깊이에 따라 달라지는 초기화 규칙을 유도하기 위해.
• empirical적으로 $\sigma_w^2 = O(1/L)$가 기존 기법보다 훨씬 빠른 학습을 가능하게 함을 검증하기 위해.

제안 방법

• 저자들은 깊이 있는 완전 연결 ResNets에서 입력-출력 자코비안 행렬의 극한 스펙트럼 분포를 분석하기 위해 비에르미트 자유 확률 이론을 적용한다.
• 네트워크 폭 $N$과 깊이 $L$이 무한대에 가까워질 때 선형 및 비선형 케이스 모두에서 자코비안 $\mathbf{J}\mathbf{J}^T$의 점근적 스펙트럼 조밀도를 유도한다.
• 분석은 자코비안의 제곱 특이값에 집중하며, 이들이 $\sigma_w^2 = O(1/L)$일 때에만 $O(1)$로 유지됨을 보여주며, 이는 기존 초기화 방식에서의 $O(1/N)$과 다름을 확인한다.
• 이 방법은 단일층에서 다층 네트워크로 확장되어 다양한 비선형성과 가중치 초기화 유형에 대해 $O(1/L)$ 스케일링의 일반성(유니버설리티)을 증명한다.
• CIFAR-10에서 다양한 초기화 분산을 가진 완전 연결 및 합성곱 ResNets를 사용하여 프레임워크를 실증적으로 검증한다.
• 다양한 $\sigma_w^2$ 설정 하에서 학습 동역학을 비교하여 $\sigma_w^2 = 1/\sqrt{L}$일 때 기존 기법보다 뛰어난 수렴 속도를 보임을 입증한다.

실험 결과

연구 질문

• RQ1 기본적인 가중치 초기화 기법들(예: 헤의 기법)이 넓이 스케일링을 올바르게 수행하고 있음에도 불구하고 깊이 있는 잔차 신경망에서 안정적인 기울기 흐름을 보장하지 못하는 이유는 무엇인가?
• RQ2 깊이 있는 ResNets의 입력-출력 자코비안에서 스펙트럼 농도를 달성하기 위해 가중치 분산 $\sigma_w^2$에 필요한 필수 조건은 무엇인가?
• RQ3 잔차 신경망의 깊이 $L$이 그 입력-출력 자코비안의 스펙트럼 특성에 미치는 영향은 무엇이며, 제곱 특이값을 $O(1)$로 유지하기 위해 $\sigma_w^2$는 어떻게 스케일링되어야 하는가?
• RQ4 자유 확률론 이론이 임의의 깊이와 폭을 가진 깊이 있는 잔차 신경망에서 자코비안 스펙트럼의 엄밀한 점근적 분석을 가능하게 하는가?
• RQ5 $\sigma_w^2$의 $O(1/L)$ 스케일링이 다양한 비선형성과 초기화 방법(Gaussian, orthogonal) 전반에서 일반적으로 효과적인가?

주요 결과

• 입력-출력 자코비안의 제곱 특이값은 $\sigma_w^2 = O(1/L)$일 때에만 $O(1)$로 유지되며, 이는 스펙트럼 농도를 보장한다. 이는 기존 초기화 방식에서의 $O(1/N)$과 다름을 확인한다.
• $O(1/L)$ 스케일링은 ReLU를 포함한 다양한 비선형성에서, 가우시안 및 옥시탈 가중치 초기화 모두에 대해 스펙트럼 농도를 확보하는 데 필수적이고 충분한 조건이다.
• 실증 결과에 따르면 $\sigma_w^2 = 1/\sqrt{L}$는 배치 정규화 없이도 기존 초기화 기법보다 훨씬 더 빠른 학습 속도를 가능하게 한다.
• 층수 $m > 1$인 잔차 유닛의 경우, 전반적인 자코비안 조건을 유지하기 위해 최적의 스케일링은 $\sigma_w^2 = O(L^{-1/m})$가 되며, 이는 잔차 유닛 내부에서의 기울기 소실을 유발할 수 있다.
• 전반적인 자코비안 조건화와 잔차 유닛 내부의 국소 기울기 흐름 사이의 상충관계가 확인되었으며, 매우 작은 $\sigma_w^2$는 내부 기울기 소실을 유발함을 보였다.
• 자유 확률론에 기반한 이론적 프레임워크는 유한한 $N$과 $L$에서도 깊이 있는 ResNets에서 자코비안 스펙트럼의 실증적 행동을 정확히 예측하며, 이는 실용적 관련성을 검증한다.