[논문 리뷰] Analytic Characterization of the Hessian in Shallow ReLU Models: A Tale of Symmetry

Yossi Arjevani, Michael Field|arXiv (Cornell University)|2020. 08. 04.

Physics of Superconductivity and Magnetism참고 문헌 37인용 수 4

한 줄 요약

이 논문은 대칭성과 표현 이론을 활용하여 얕은 ReLU 신경망에서 헤시안 스펙트럼을 처음으로 엄밀한 해석적 특성화를 제공한다. $ d \to k $ 일 때, $ dk - O(d) $ 개의 고유값이 0 근처에 집중하는 반면, $ \Omega(d) $ 개의 고유값은 $ k $ 와 선형으로 증가함을 보여주어 오랫동안 관찰된 극단적인 스펙트럼 비대칭 현상을 증명 가능한 방식으로 해결한다.

ABSTRACT

We consider the optimization problem associated with fitting two-layers ReLU networks with respect to the squared loss, where labels are generated by a target network. We leverage the rich symmetry structure to analytically characterize the Hessian at various families of spurious minima in the natural regime where the number of inputs $d$ and the number of hidden neurons $k$ is finite. In particular, we prove that for $d\ge k$ standard Gaussian inputs: (a) of the $dk$ eigenvalues of the Hessian, $dk - O(d)$ concentrate near zero, (b) $Ω(d)$ of the eigenvalues grow linearly with $k$. Although this phenomenon of extremely skewed spectrum has been observed many times before, to our knowledge, this is the first time it has been established {rigorously}. Our analytic approach uses techniques, new to the field, from symmetry breaking and representation theory, and carries important implications for our ability to argue about statistical generalization through local curvature.

연구 동기 및 목표

• 두 층으로 이루어진 ReLU 신경망에서 유한한 $ d $ 와 $ k $ 를 가진 임계점에서의 헤시안 스펙트럼을 해석적으로 특성화하는 것.
• большин의 고유값이 0 근처이고 소수의 고유값만 큰 것으로 관찰되는 헤시안의 극단적인 스펙트럼 비대칭 현상이 엄밀한 분석을 통해 해결되는 것.
• 군 대칭성과 표현 이론을 기반으로 한 새로운 프레임워크를 개발하여 허위 최소점에서의 헤시안을 분해하는 것.
• 정확한 스펙트럼 결과를 활용하여 딥 러닝에서 오랫동안 제기된 곡률, 최적화 및 일반화에 관한 가설을 검증하는 것.
• $ d \geq k \geq 6 $ 에서 유형 A, I, II 허위 최소점의 존재성과 스펙트럼 특성을 규명하는 것.

제안 방법

• 손실이 가중치 행렬 $ \mathbf{W} $ 의 행과 열의 순열에 대해 불변임을 활용하여 $ S_k \times S_d $ 대칭성에 기반한다.
• 표현 이론을 사용하여 헤시안을 이소타입 성분으로 분해함으로써, 임계점에서 정확한 스펙트럼 분석이 가능하게 한다.
• $ 1/\sqrt{k} $ 에 대한 멱급수 전개를 적용하여 임계점과 그 헤시안의 구조를 기술한다.
• 가중치 벡터 간의 각도 $ \theta_{\mathbf{w}_i, \mathbf{w}_j} $ 와 노름과 같은 기하학적 양을 사용하여 헤시안 블록의 명시적 표현을 유도한다.
• $ S_k $-표현을 활용하여 대칭 임계점에서 불확실 표현, 특히 $ H_{k-1} $ 과 $ T $ 를 통해 고유값을 계산한다.
• 학습된 모델을 변형시켜 예측된 값 근처에 고유값 집합이 나타나는지 수치적으로 검증한다.

실험 결과

연구 질문

• RQ1 유한한 $ d $ 와 $ k $ 를 가진 얕은 ReLU 신경망에서 허위 최소점에서의 헤시안 스펙트럼의 해석적 구조는 무엇인가?
• RQ2 왜 경험적 연구들은 항상 대부분의 고유값이 0 근처이고 소수의 고유값만 큰 극단적인 스펙트럼 비대칭을 관찰하는가?
• RQ3 학생-교사 ReLU 모델의 대칭성을 활용하여 임계점에서의 헤시안에 대한 정확한 스펙트럼 결과를 도출할 수 있는가?
• RQ4 $ d \geq k \geq 6 $ 에서 유형 A, I, II 허위 최소점이 존재하는가? 그들의 스펙트럼 특성은 무엇인가?
• RQ5 글로벌 최소점과 허위 최소점의 스펙트럼 특성을 비교하면, 이는 평평한 최소점 가설에 어떤 함의를 갖는가?

주요 결과

• $ d \geq k $ 일 때, 헤시안의 $ dk - O(d) $ 개의 고유값이 0 근처에 집중하여 막대한 영공간을 나타낸다.
• 적어도 $ \Omega(d) $ 개의 고유값이 $ k $ 와 함께 선형으로 증가하여, 몇몇 큰 곡률 방향이 존재함을 확인한다.
• 유형 II 허위 최소점은 $ k+1 $ 개의 이방 고유값을 가지며, 이 중 $ k $ 개는 $ k/4 $ 의 비율로 증가하고, 하나는 $ k/(2\pi) $ 의 비율로 증가한다.
• 유형 A 허위 최소점은 $ k $ 개의 고유값이 $ k/4 $ 의 비율로 증가하고, 하나는 $ (k+1)/4 $ 의 비율로 증가하며, $ O(k^{-1/2}) $ 차수의 작은 보정이 존재한다.
• $ k=50 $ 일 때, 글로벌 최소점과 유형 A 허위 최소점의 헤시안 스펙트럼은 거의 구분되지 않아 평평한 최소점 추측에 도전한다.
• $ \widetilde{\mathbf{W}} = \widetilde{\mathbf{V}} $ 에서의 헤시안은 고유값 $ 1/4 $ (중복도 $ m(k-1) $) 과 $ (k+2)/4 $ (중복도 $ m $) 를 가지며, 이는 $ S_k $-표현 분해로부터 유도된다.