[논문 리뷰] Tensor Programs III: Neural Matrix Laws

Greg Yang|arXiv (Cornell University)|2020. 09. 22.

Stochastic Gradient Optimization Techniques참고 문헌 50인용 수 19

한 줄 요약

이 논문은 자유 독립 원리(Free Independence Principle, FIP)를 소개하며, 랜덤으로 초기화된 넓은 신경망에서, 전활성화(pre-activations)가 무작위 행렬 이론의 의미에서 가중치 행렬로부터 점점 더 자유로워진다는 것을 증명한다. 새로운 텐서 프로그램 주요 정리(Master Theorem)를 사용하여, 이전의 자코비안 특이값 분포 및 신경망 탄성 커널(Neural Tangent Kernel) 연구에서 사용된 자유 독립 가정을 엄밀히 정당화하며, 모든 신경망 아키텍처에 걸쳐 보편성을 확립한다.

ABSTRACT

In a neural network (NN), *weight matrices* linearly transform inputs into *preactivations* that are then transformed nonlinearly into *activations*. A typical NN interleaves multitudes of such linear and nonlinear transforms to express complex functions. Thus, the (pre-)activations depend on the weights in an intricate manner. We show that, surprisingly, (pre-)activations of a randomly initialized NN become *independent* from the weights as the NN's widths tend to infinity, in the sense of asymptotic freeness in random matrix theory. We call this the Free Independence Principle (FIP), which has these consequences: 1) It rigorously justifies the calculation of asymptotic Jacobian singular value distribution of an NN in Pennington et al. [36,37], essential for training ultra-deep NNs [48]. 2) It gives a new justification of gradient independence assumption used for calculating the Neural Tangent Kernel of a neural network. FIP and these results hold for any neural architecture. We show FIP by proving a Master Theorem for any Tensor Program, as introduced in Yang [50,51], generalizing the Master Theorems proved in those works. As warmup demonstrations of this new Master Theorem, we give new proofs of the semicircle and Marchenko-Pastur laws, which benchmarks our framework against these fundamental mathematical results.

연구 동기 및 목표

• 신경망 자코비안 특이값 분포 분석에 널리 사용된 자유 독립 가정에 엄밀한 기초를 마련하는 것.
• 기존 방법이 실패하는 비선형 깊은 학습 환경에 대해 무작위 행렬 이론 기법을 일반화하는 것.
• 자유 독립 성질이 특정 아키텍처가 아닌 모든 신경망 아키텍처에서 보편적으로 성립함을 증명하는 것.
• 임의의 신경망 아키텍처의 점근적 행동을 체계적으로 분석할 수 있도록 하는 새로운 텐서 프로그램 주요 정리(Master Theorem)를 개발하는 것.
• 제안된 프레임워크의 기준점으로서 고전적 무작위 행렬 법칙(반원 법칙과 Marchenko-Pastur 법칙)의 새로운 엄밀한 증명을 제공하는 것.

제안 방법

• 복잡한 비선형 조합의 점근적 분석을 가능하게 하는 이전 결과를 일반화한 새로운 텐서 프로그램 주요 정리를 제안하며, 이를 통해 신경망 내 비선형 복합 구조의 점근적 분석이 가능해진다.
• 벡터 집합(M)에 대한 재귀적 귀납 프레임워크를 사용하여, 행렬 변환 하에서 모멘트 수렴성과 수직성 성질을 추적한다.
• 비선형적 의존성을 다루기 위해 의사-립시츠 함수(pseudo-Lipschitz functions)와 가우시안 조건부 기법을 적용한다.
• 잔여 항의 모멘트가 사라짐을 증명하기 위해 행렬 곱을 가우시안 및 선형 성분으로 분해한다.
• 점근적 독립성을 형식화하기 위해 '모멘트가 사라지는 현상(vanishing moments)'과 '수직 시스템(orthogonal systems)'의 개념을 도입한다.
• 강한 대수법칙과 농도 경계를 활용하여 모멘트 통계량의 거의 확실 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 무한 넓이 극한에서, 모든 신경망 아키텍처에 걸쳐 가중치와 전활성화 사이의 자유 독립 가정이 보편적으로 성립하는가?
• RQ2 반원 법칙과 Marchenko-Pastur 법칙과 같은 고전적 무작위 행렬 법칙들이 비선형 신경망에 대한 통합 프레임워크를 통해 엄밀히 재유도될 수 있는가?
• RQ3 고전적 무작위 행렬 이론의 전개 기법이 비선형 신경망 자코비안을 분석하는 데 효과적인가?
• RQ4 넓은 네트워크에서 전활성화가 가중치 행렬로부터 점근적으로 자유로워지도록 보장하는 수학적 조건은 무엇인가?
• RQ5 임의의 신경망 아키텍처의 점근적 행동을 포괄하는 일반적인 텐서 프로그램 주요 정리를 제안할 수 있는가?

주요 결과

• 자유 독립 원리(Free Independence Principle, FIP)가 엄밀히 증명됨: 무작위로 초기화된 넓은 신경망에서 전활성화는 자유 확률 이론의 의미에서 가중치 행렬로부터 점점 더 자유로워진다.
• FIP는 자코비안 특이값 분포 계산에 사용된 자유 독립 가정을 정당화하며, 이는 초초기 신경망에서 역학적 등척성(dynamical isometry)을 달성하는 데 핵심적이다.
• 제안된 텐서 프로그램 주요 정리는 반원 법칙과 Marchenko-Pastur 법칙을 특수 케이스로 회복하여, 제안된 프레임워크가 무작위 행렬 이론의 기본 결과와 일치함을 검증한다.
• 이 프레임워크는 아키텍처 보편성(architectural universality)을 확립한다: FIP는 깊이, 넓이, 활성화 함수에 관계없이 모든 신경망 아키텍처에서 성립한다.
• 비선형 변환(예: ReLU, tanh)에서 발생하는 잔여 항이 무한 넓이 극한에서 모멘트가 사라짐을 증명함으로써 점근적 독립성을 가능하게 한다.
• 비선형적으로 의존하는 행렬(예: 깊은 네트워크의 자코비안)을 포함하는 행렬 곱은 모멘트가 사라지는 성분으로 분해될 수 있으며, 이는 엄밀한 점근적 분석을 가능하게 한다.