[논문 리뷰] Beyond Random Matrix Theory for Deep Networks

Diego Granziol|arXiv (Cornell University)|2020. 06. 13.

Random Matrices and Applications참고 문헌 46인용 수 7

한 줄 요약

이 논문은 딥러닝 이론에서 위그너와 마르첸코-파스트르 랜덤 매트릭스 엔sembles의 사용을 도전하며, 훈련된 신경망 헤시안의 경험적 고유값 밀도가 이론적 예측에서 크게 벗어남을 보여준다. 이를 바탕으로 관측된 스펙트럼과 더 잘 맞는 제품형 및 퍼콜레이티드 위그너/위샤르트 엔셈블을 제안하고, 영점에서 이산적 고유값 피크를 예측함으로써 최적화 경로상의 저손실 연결성의 이론적 설명을 제공한다.

ABSTRACT

We investigate whether the Wigner semi-circle and Marcenko-Pastur distributions, often used for deep neural network theoretical analysis, match empirically observed spectral densities. We find that even allowing for outliers, the observed spectral shapes strongly deviate from such theoretical predictions. This raises major questions about the usefulness of these models in deep learning. We further show that theoretical results, such as the layered nature of critical points, are strongly dependent on the use of the exact form of these limiting spectral densities. We consider two new classes of matrix ensembles; random Wigner/Wishart ensemble products and percolated Wigner/Wishart ensembles, both of which better match observed spectra. They also give large discrete spectral peaks at the origin, providing a theoretical explanation for the observation that various optima can be connected by one dimensional of low loss values. We further show that, in the case of a random matrix product, the weight of the discrete spectral component at $0$ depends on the ratio of the dimensions of the weight matrices.

연구 동기 및 목표

• 광범위하게 사용되는 랜덤 매트릭스 엔셈블(위그너, 마르첸코-파스트르)이 실제 딥 뉴럴 네트워크 헤시안의 스펙트럼 밀도를 정확히 기술하는지 평가하는 것.
• 비독립 동일분포(비-i.i.d.) 가중치 및 이상치와 같은 현실적인 변형이 있을 경우, 계층적 임계점 구조에 대한 이론적 주장의 탄력성 여부를 조사하는 것.
• 현대 네트워크에서 경험적으로 관측된 헤시안 스펙트럼과 더 잘 맞는 대체 랜덤 매트릭스 엔셈블을 식별하고 검증하는 것.
• 최적화 경로상의 저손실 연결성이라는 경험적 관측을 이론적 영점에서의 스펙트럼 피크로 설명하는 것.
• 이론적 및 경험적 분석을 통해 영점에서의 스펙트럼 비대칭성의 네트워크 깊이 및 너비에 대한 의존도를 정량화하는 것.

제안 방법

• 정확한 및 샘플링된 헤시안 계산을 통해 CIFAR-100과 MNIST에서 훈련된 VGG-16 및 PreResNet-110 모델의 헤시안 스펙트럼 밀도를 경험적으로 측정한다.
• 고유값 밀도 예측 결과를 가우시안 올라토기널 엔셈블(GOE) 및 위샤르트 엔셈블의 이론적 예측과 비교한다.
• 두 가지 새로운 랜덤 매트릭스 엔셈블(위그너/위샤르트 행렬의 곱, 퍼콜레이티드 위그너/위샤르트 엔셈블)을 제안하고 분석한다.
• 랜덤 매트릭스 곱에서 영점의 이산적 고유값 성분에 대한 이론적 표현을 유도하며, 매트릭스 차원 비율에 따른 의존성을 보여준다.
• 히스토GRAM 및 히트맵 시각화를 통해 계층 간 헤시안 매트릭스의 희소성 및 질량 분포를 평가한다.
• 랜덤 매트릭스 이론의 결과(예: 극단적 고유값 행동, 스펙트럼 가장자리 스케일링)를 활용해 실제 네트워크 스펙트럼의 이탈을 해석한다.

실험 결과

연구 질문

• RQ1 훈련된 딥 뉴럴 네트워크 헤시안의 스펙트럼 밀도가 랜덤 매트릭스 이론에 의해 예측된 위그너 반원 또는 마르첸코-파스트르 법칙을 따르는가?
• RQ2 비독립 동일분포 가중치 및 입력 가정 위반 또는 이상치 존재 시, 계층적 임계점 구조에 대한 이론적 주장의 타당성은 어떻게 영향을 받는가?
• RQ3 특히 위그너/위샤르트 행렬의 곱 또는 퍼콜레이티드 형태의 대체 랜덤 매트릭스 엔셈블이 경험적으로 관측된 헤시안 스펙트럼을 더 잘 설명할 수 있는가?
• RQ4 신경망 헤시안에서 관측된 영점에서의 이산적 스펙트럼 피크에 대한 이론적 근거는 무엇이며, 저손실 연결성과의 관계는 어떠한가?
• RQ5 딥 네트워크에서 계층 차원 비율에 따라 영점의 스펙트럼 성분의 질량은 어떻게 달라지는가?

주요 결과

• CIFAR-100에서 훈련된 VGG-16 및 PreResNet-110 모델의 경험적 헤시안 스펙트럼은 이상치를 고려한 후에도 위그너 및 마르첸코-파스트르 예측에서 뚜렷한 이탈을 보인다.
• 비독립 동일분포 가정 하에 유도된 딥 네트워크의 계층적 임계점 구조에 대한 이론적 주장은 이러한 가정이 완화되거나 이상치가 존재할 경우 성립하지 않는다.
• 표준 엔셈블보다 위그너/위샤르트 행렬의 곱 및 퍼콜레이티드 엔셈블이 관측된 헤시안 스펙트럼과 더 잘 맞는다.
• 두 대체 엔셈블 모두 영점에서 유의미한 이산적 스펙트럼 성분을 예측하며, 이는 최적화 경로상의 저손실 연결성이라는 경험적 관측에 대한 이론적 설명을 제공한다.
• 이론적 가정 하에 영점의 스펙트럼 성분 질량은 네트워크의 깊이가 증가함에 따라 증가하고, 계층 차원 비율에 따라 달라진다.
• 헤시안 매트릭스의 희소성은 존재하지만, 스펙트럼 형태를 설명하기에는 부족하다. VGG-16에서는 84±13%의 요소가 10⁻⁶ 이하이지만, 스펙트럼은 여전히 반원형이 아니다.