[논문 리뷰] On the asymptotics of wide networks with polynomial activations

Kyle Aitken, Guy Gur-Ari|arXiv (Cornell University)|2020. 06. 11.

Stochastic Gradient Optimization Techniques참고 문헌 10인용 수 8

한 줄 요약

이 논문은 다항 활성화 함수를 갖는 깊은 신경망에서 넓은 신경망의 상호상관 함수의 渐近적 스케일링에 대한 Dyer와 Gur-Ari(2019)의 추측을 증명한다. 텐서 기반 분석과 Isserlis의 정리를 사용하여 파라미터 도함수의 모멘트를 계산함으로써, 저자들은 상호상관 함수가 $\mathcal{O}(n^{n_e + (n_o - m)/2})$로 스케일링됨을 확립한다. 여기서 $n$은 넓이, $n_e$는 클러스터 그래프 내의 짝수 크기 성분의 수, $n_o$는 홀수 크기 성분의 수이다. 이 결과는 유한 넓이 동역학과 NTK 이론의 타당성을 다항 활성화 함수를 갖는 네트워크로 확장한다.

ABSTRACT

We consider an existing conjecture addressing the asymptotic behavior of neural networks in the large width limit. The results that follow from this conjecture include tight bounds on the behavior of wide networks during stochastic gradient descent, and a derivation of their finite-width dynamics. We prove the conjecture for deep networks with polynomial activation functions, greatly extending the validity of these results. Finally, we point out a difference in the asymptotic behavior of networks with analytic (and non-linear) activation functions and those with piecewise-linear activations such as ReLU.

연구 동기 및 목표

• 다항 활성화 함수에 대해 넓은 신경망에서 상호상관 함수 스케일링에 대한 추측을 엄밀하게 증명하는 것.
• 선형 및 ReLU 네트워크를 초월하여 유한 넓이 신경망 동역학의 이론적 프레임워크를 확장하는 것.
• 특히 확률적 경사 하강법 하에서의 훈련 동안 넓은 네트워크의 거동에 대한 분석적 제어를 제공하는 것.
• 해석적(예: 다항) 활성화 함수와 조각별 선형(예: ReLU) 활성화 함수 간의 상호상관 행동의 차이를 명확히 하는 것.

제안 방법

• 네트워크 계층을 가로질러 도함수 수축을 추적하기 위해 텐서 네트워크 형식을 사용하여 상호상관 함수의 渐近적 스케일링을 유도한다.
• i.i.d. 가우시안 초기화 하에서 고차 모멘트를 계산하기 위해 Isserlis의 정리를 적용한다.
• 정점이 입력을 나타내고 간선이 도함수 수축을 나타내는 상호상관 함수의 클러스터 그래프 구조를 분석한다.
• 다항 활성화 함수 $\phi(x) = x^2$를 갖는 두 은닉층 네트워크에서 특정 상호상관 함수(예: $C_{4,3}$)의 명시적 스케일링을 계산한다.
• 도표 기반 및 조합 기반 기법을 사용하여 모멘트 전개에서 기여하는 항의 수를 세고 평가한다.
• 스케일링 지수 $n_e + (n_o - m)/2$가 비선형 케이스조차도 넓이 의존성을 정확히 예측함을 보여준다.

실험 결과

연구 질문

• RQ1 다항 활성화 함수를 갖는 깊은 네트워크에서 추측된 渐近적 스케일링 $\mathcal{O}(n^{n_e + (n_o - m)/2})$이 성립하는가?
• RQ2 비선형 다항 활성화 함수를 갖는 넓은 네트워크에서 고차 파라미터 도함수의 거동은 선형 또는 ReLU 네트워크와 어떻게 다를까?
• RQ3 클러스터 그래프 구조가 비선형 설정에서 상호상관 함수의 넓이 스케일링을 완전히 예측할 수 있는가?
• RQ4 반복 도함수의 역할은 선형 네트워크와 비교해 다항 네트워크의 스케일링 행동을 어떻게 변화시키는가?
• RQ5 왜 추측이 일부 경우(예: ReLU를 갖는 $C_{4,3}$)에서는 날카로운 bound를 제공하지 못하는가? 다항 네트워크에서는 이와 어떻게 다를까?

주요 결과

• 다항 활성화 함수를 갖는 깊은 네트워크에서 상호상관 함수 스케일링에 대한 추측이 증명되었으며, $\mathcal{O}(n^{n_e + (n_o - m)/2})$ 행동이 확인되었다.
• 활성화 함수 $\phi(x) = x^2$를 갖는 두 층 네트워크에서 상호상관 함수 $C_{4,3}$는 $\mathcal{O}(n^{-1})$로 스케일링되며, 이는 예측된 지수와 일치한다.
• 해석적(다항) 활성화 함수와 조각별 선형(ReLU) 활성화 함수 간의 스케일링 행동은 근본적으로 다르며, ReLU 네트워크는 비타당한 경계를 보이지 않는다.
• 유도 과정은 다항 네트워크에서 반복 도함수가 더 풍부한 기여 항의 구조를 만들어내지만, 전체 스케일링은 여전히 클러스터 그래프 구조에 의해 지배됨을 보여준다.
• 이 방법은 비선형 케이스에서 비로소 검증되는 비트리비얼한 경우인 $C_{4,3}$에 대해 명시적 $\mathcal{O}(n^{-1})$ 스케일링을 성공적으로 계산하였다.
• 결과적으로 이는 다항 활성화 함수를 갖는 넓은 네트워크에서의 유한 넓이 동역학과 최적화 궤적 분석에 엄밀한 기초를 마련한다.