[논문 리뷰] Mean-field Behaviour of Neural Tangent Kernel for Deep Neural Networks

Soufiane Hayou, Randal Douc외 1명|arXiv (Cornell University)|2019. 09. 25.

Stochastic Gradient Optimization Techniques참고 문헌 40인용 수 23

한 줄 요약

이 논문은 넓고 깊은 신경망에서 초기화 및 활성화 함수가 신경미분핵(NTK)에 미치는 영향을 조사한다. 표준 NTK 영역이 매우 깊은 네트워크의 성능을 설명하지 못함을 보여주며, '혼돈의 가장자리' 근처의 초기화가 NTK 동역학을 크게 변화시킴을 규명한다. 실험을 통해 선형 근사 이외의 넓은 네트워크 행동에 대한 이론적 결과를 검증한다.

ABSTRACT

Recent work by Jacot et al. (2018) has shown that training a neural network of any kind with gradient descent in parameter space is strongly related to kernel gradient descent in function space with respect to the Neural Tangent Kernel (NTK). Lee et al. (2019) built on this result by establishing that the output of a neural network trained using gradient descent can be approximated by a linear model for wide networks. In parallel, a recent line of studies (Schoenholz et al. 2017; Hayou et al. 2019) has suggested that a special initialization, known as the Edge of Chaos, improves training. In this paper, we bridge the gap between these two concepts by quantifying the impact of the initialization and the activation function on the NTK when the network depth becomes large. In particular, we show that the performance of wide deep neural networks cannot be explained by the NTK regime and we provide experiments illustrating our theoretical results.

연구 동기 및 목표

• 넓고 깊은 신경망에서 초기화 및 활성화 함수가 신경미분핵(NTK)에 미치는 영향을 이해하는 것.
• 매우 깊은 네트워크의 학습 동역학을 설명하는 데 NTK 영역이 충분히 적합한가를 조사하는 것.
• '혼돈의 가장자리' 초기화로 알려진 성능 향상 기법과 NTK 프레임워크 간 격차를 메우는 것.
• 표준 NTK 근사가 깊은 아키텍처에서 붕괴됨을 이론적이고 경험적으로 입증하는 것.

제안 방법

• 가중치 및 활성화 분포를 모델링하기 위해 평균장 이론을 사용하여 무한한 넓이와 큰 깊이의 극한에서 NTK를 분석한다.
• 특히 혼돈의 가장자리 초기화에 중점을 두고, 다양한 초기화 방식에서 NTK의 점근적 행동을 유도한다.
• 깊이에 따라 스케일링이 달라지는 것을 고려하여 학습 중 NTK의 진화를 추적하기 위해 평균장 근사를 사용한다.
• 깊이와 활성화 함수의 비선형성의 영향을 포착하기 위해 NTK의 재귀적 공식을 활용한다.
• 다양한 활성화 함수를 가진 넓은 피드포워드 네트워크에서 이론적 예측을 실험을 통해 검증한다.
• 특히 혼돈의 가장자리 근처에서 초기화된 경우를 포함해, 다양한 초기화 방식 간 일반화 및 학습 성능를 비교한다.

실험 결과

연구 질문

• RQ1 초기화 방법의 선택이 매우 깊고 넓은 신경망에서 NTK에 어떤 영향을 미치는가?
• RQ2 네트워크 깊이가 증가함에 따라 NTK 영역의 유효성은 어느 정도 유지되는가?
• RQ3 깊은 아키텍처에서 활성화 함수가 NTK 동역학을 어떻게 형성하는가?
• RQ4 혼돈의 가장자리에서 초기화하면 표준 초기화와 비교해 본질적으로 다른 NTK 행동을 보이는가?
• RQ5 NTK 프레임워크는 깊은 네트워크에서 일반화 및 학습 동역학을 정확히 예측할 수 있는가?

주요 결과

• 깊이에 따른 NTK 스케일링으로 인해 넓이가 크더라도 매우 깊은 네트워크에서는 표준 NTK 영역이 붕괴된다.
• 특히 깊은 아키텍처에서 혼돈의 가장자리 초기화는 표준 초기화와 비교해 상당히 다른 NTK 행동을 유도한다.
• 깊은 네트워크에서는 NTK가 정적(Stationary)이 아니며 깊이에 따라 달라지므로, 학습 중 일정한 커널을 가정하는 것이 무효해진다.
• 이론적 분석은 NTK가 특정 초기화 조건에서만 비자명한 극한으로 수렴함을 보여주며, 모든 깊이에서 일반적으로 성립하지는 않는다.
• 실험 결과, 혼돈의 가장자리에서 초기화된 네트워크는 더 나은 일반화 성능를 보이며, 넓은 극한에서도 특이한 NTK 동역학을 나타낸다.
• 넓고 깊은 네트워크의 성능은 선형화된 NTK 모델로는 설명될 수 없으며, 깊은 학습에서 비선형 커널 동역학의 필요성을 시사한다.