[논문 리뷰] Finite Depth and Width Corrections to the Neural Tangent Kernel

Boris Hanin, Mihai Nica|arXiv (Cornell University)|2019. 09. 13.

Stochastic Gradient Optimization Techniques참고 문헌 25인용 수 21

한 줄 요약

이 논문은 ReLU 네트워크에서 신경 탄성 커널(NTK)의 정확한 유한 깊이 및 유한 폭 보정을 유도하며, 평균과 분산이 깊이 대 폭 비율에 따라 지수적으로 증가함을 보여준다. 핵심 발견은 심지어 무한 과다파rameter화 한계에서도 NTK가 비결정적이며 학습 도중 변화함을 보이며, 레이지 학습 영역에서 데이터에 의존하는 특징 학습이 가능하다는 것이다.

ABSTRACT

We prove the precise scaling, at finite depth and width, for the mean and variance of the neural tangent kernel (NTK) in a randomly initialized ReLU network. The standard deviation is exponential in the ratio of network depth to width. Thus, even in the limit of infinite overparameterization, the NTK is not deterministic if depth and width simultaneously tend to infinity. Moreover, we prove that for such deep and wide networks, the NTK has a non-trivial evolution during training by showing that the mean of its first SGD update is also exponential in the ratio of network depth to width. This is sharp contrast to the regime where depth is fixed and network width is very large. Our results suggest that, unlike relatively shallow and wide networks, deep and wide ReLU networks are capable of learning data-dependent features even in the so-called lazy training regime.

연구 동기 및 목표

• 유한 깊이 및 유한 폭 ReLU 네트워크에서 신경 탄성 커널(NTK)의 통계적 행동을 이해하고, 특히 무한 폭 한계에서 어떻게 벗어나는지 분석하는 것.
• 깊이와 폭이 변화함에 따라 NTK의 평균과 분산이 어떻게 스케일링되는지 분석하는 것, 특히 둘 다 무한으로 갈 때의 공동 한계에서의 행동을 중심으로 한다.
• 깊고 넓은 네트워크에서 학습 도중 NTK가 변화하는지 조사하여, 레이지 학습 영역에서 커널 동결 가정을 도전하는 것.
• NTK의 첫 번째 순차적 경사하강법(SGD) 업데이트를 정량화하여, 깊이 대 폭 비율에 대한 의존성을 보여주는 것.
• 무한 폭 이론의 예측과는 반대로, 깊고 넓은 ReLU 네트워크가 레이지 학습 영역에서도 데이터에 의존하는 특징 학습을 수행할 수 있음을 보여주는 것.

제안 방법

• 무작위로 초기화된 깊은 ReLU 네트워크에서 NTK의 정확한 기대값과 분산을 도식적 전개를 통해 유도하며, 가중치와 활성화 상관관계를 분석한다.
• 경로 기반 기울기와 그 중첩을 단계별로 재귀적으로 분석하여, NTK를 계산 그래프 내 경로의 합으로 모델링한다.
• 경로 다이어그램 내 간선 다중집합과 고리 구조의 조합적 수를 사용하여 NTK의 모멘트를 계산하며, 네 번째 중심모멘트 μ₄를 통해 고차 누산량을 포함시킨다.
• 층의 폭과 깊이에 따라 달라지는 가중치를 가진 경로 수를 세는 방법을 도입하여, 변동의 지수적 스케일링을 포착한다.
• 큰 폭 한계에서의 점근적 전개를 사용하여 NTK의 주요 보정 항을 분리하며, 깊이 대 폭 비율에 의존하는 항들을 포함한다.
• NTK의 첫 번째 SGD 업데이트를 분석하기 위해 손실 함수에 대한 네트워크 파라미터에 대한 기울기 기대값을 계산하며, 깊이와 폭에 대한 지수적 의존성을 보여준다.

실험 결과

연구 질문

• RQ1 유한 깊이 및 폭은 ReLU 네트워크에서 NTK의 평균과 분산에 어떻게 영향을 미치는가?
• RQ2 무한 깊이 및 폭의 공동 한계에서 NTK는 여전히 결정적인가, 아니면 변동성이 지속되는가?
• RQ3 깊고 넓은 네트워크에서 NTK의 첫 번째 SGD 업데이트의 스케일링은 어떻게 되며, 깊이와 폭에 어떻게 의존하는가?
• RQ4 무한 폭 한계에서 NTK가 약간 동결된다고 예측되더라도, 깊고 넓은 ReLU 네트워크는 레이지 학습 영역에서 데이터에 의존하는 특징 학습을 수행할 수 있는가?
• RQ5 깊이 대 폭 비율은 NTK의 통계적 행동과 학습 도중의 변화를 결정하는 데 어떤 역할을 하는가?

주요 결과

• NTK의 표준편차는 네트워크 깊이 대 폭 비율에 따라 지수적으로 증가하며, 이는 무한 과다파rameter화 한계에서도 NTK가 여전히 랜덤임을 시사한다.
• NTK의 첫 번째 SGD 업데이트의 평균 역시 깊이 대 폭 비율에 따라 지수적으로 증가하며, 학습 도중 비트리비어스한 변화가 있음을 나타낸다.
• 유한 폭 보정은 깊고 넓은 네트워크에서 무시할 수 없으며, 큰 폭의 한계에서도 여전히 비결정적 커널을 초래한다.
• NTK의 분산과 업데이트 크기는 깊이 대 폭 비율에 대해 지수적으로 민감하며, 이는 깊고 넓은 네트워크가 데이터에 의존하는 특징을 학습할 수 있음을 시사한다.
• 고정된 깊이와 큰 폭의 영역과는 달리, NTK는 약간 결정적이며 동결된 반면, 깊고 넓은 네트워크는 상당한 커널 변동성과 변화를 보인다.
• 결과적으로 깊고 넓은 ReLU 네트워크는 레이지 학습 영역에서도 특징 학습이 가능하며, 기존의 이러한 네트워크가 순수하게 커널 유사하다는 관점을 도전한다.