[논문 리뷰] Quantitative Propagation of Chaos for SGD in Wide Neural Networks

Valentin De Bortoli, Alain Durmus외 2명|arXiv (Cornell University)|2020. 07. 13.

Markov Chains and Monte Carlo Methods참고 문헌 55인용 수 13

한 줄 요약

이 논문은 넓은 두 층 신경망에서 연속 시간 변형 스토하스틱 경사 하강법(SGD)에 대한 양적 혼돈 전파를 확립한다. $N \to \infty$일 때 개별 뉴런이 평균장 맥클리언-플라소프 확산으로 수렴함을 보이며, 스텝사이즈가 $N$에 대해 어떻게 스케일링되는지에 따라 두 가지 별개의 평균장 영역—한쪽은 결정론적이고 다른 쪽은 암묵적으로 정규화된—을 식별한다. 워샤르슈타인 거리 기반의 명시적 수렴 속도가 제공된다.

ABSTRACT

In this paper, we investigate the limiting behavior of a continuous-time counterpart of the Stochastic Gradient Descent (SGD) algorithm applied to two-layer overparameterized neural networks, as the number or neurons (ie, the size of the hidden layer) $N o +\infty$. Following a probabilistic approach, we show 'propagation of chaos' for the particle system defined by this continuous-time dynamics under different scenarios, indicating that the statistical interaction between the particles asymptotically vanishes. In particular, we establish quantitative convergence with respect to $N$ of any particle to a solution of a mean-field McKean-Vlasov equation in the metric space endowed with the Wasserstein distance. In comparison to previous works on the subject, we consider settings in which the sequence of stepsizes in SGD can potentially depend on the number of neurons and the iterations. We then identify two regimes under which different mean-field limits are obtained, one of them corresponding to an implicitly regularized version of the minimization problem at hand. We perform various experiments on real datasets to validate our theoretical results, assessing the existence of these two regimes on classification problems and illustrating our convergence results.

연구 동기 및 목표

• 과도하게 파rameter화된 두 층 신경망에서 뉴런 수 $N \to \infty$일 때 SGD의 점근적 행동을 이해하기 위해.
• 네트워크의 가중치로 구성된 입자 시스템의 평균장 극한에 영향을 주는 스텝사이즈가 $N$에 대해 어떻게 스케일링되는지 분석하기 위해.
• 워샤르슈타인 거리에서 개별 뉴런이 평균장 극한으로 수렴하는 정량적 수렴 속도를 확립하기 위해.
• 스텝사이즈 의존성에 따라 발생하는 두 가지 별개의 평균장 영역—결정론적 영역과 암묵적으로 정규화된 영역—을 식별하고 특성화하기 위해.
• 실제 데이터셋(MNIST 및 CIFAR-10 포함)에서 이론적 결과를 실험적으로 검증하기 위해.

제안 방법

• 과도하게 파rameter화된 두 층 신경망(은닉 유닛 수가 $N$개)에 대해 연속 시간 SGD의 대응 모델을 수립한다.
• 네트워크 가중치로 정의된 입자 시스템을 연구하기 위해 확률적 프레임워크를 적용하고, $N \to \infty$일 때 혼돈 전파를 증명한다.
• 워샤르슈타인 거리를 사용하여 가중치의 경험적 측도가 평균장 극한으로 수렴하는 정도를 정량화한다.
• 평균장 극한으로서 맥클리언-플라소프 SDE를 유도하며, 노이즈 구조는 데이터 분포와 스텝사이즈 스케일링에 따라 달라진다.
• 스텝사이즈 수열이 $N$과 반복 횟수에 모두 의존하도록 고려하여, 시간에 따라 변하는 및 $N$에 의존하는 학습률을 허용한다.
• PyTorch를 사용하여 MNIST 및 CIFAR-10에서 수치 실험을 수행하여 가중치 분포가 예측된 극한 측도로 수렴하는지 검증한다.

실험 결과

연구 질문

• RQ1 SGD의 스텝사이즈가 뉴런 수 $N$에 대해 어떻게 스케일링되는지가 네트워크 가중치 역학의 평균장 극한에 어떤 영향을 미치는가?
• RQ2 평균장 극한이 비영인 확산(즉, 암묵적 정규화)을 보일 조건은 무엇이며, 이는 표준 결정론적 평균장 극한과 어떻게 다를까?
• RQ3 개별 뉴런이 $N \to \infty$일 때 워샤르슈타인 거리에서 평균장 해로 수렴하는 정량적 속도는 무엇인가?
• RQ4 이론적 평균장 영역은 표준 데이터셋에서 실수 신경망 학습에서 실제로 관찰될 수 있는가?
• RQ5 배치 크기 $M$은 평균장 영역으로의 수렴에 어떤 영향을 미치는가?

주요 결과

• 논문은 워샤르슈타인 거리로 측정했을 때, 네트워크 가중치의 경험적 측도가 평균장 맥클리언-플라소프 해로 수렴하는 정량적 수렴을 확립하며, 이 수렴 속도는 $N$에 따라 달라진다.
• 두 가지 별개의 평균장 영역이 나타나며, 하나는 결정론적 ODE 흐름(표준 평균장 극한)에 해당하고, 다른 하나는 데이터에 의존하는 확산을 가진 비퇴화 맥클리언-플라소프 SDE에 해당한다.
• 암묵적으로 정규화된 영역은 스텝사이즈가 $\gamma N^\beta$로 스케일링되고 $\beta = 1$일 때 발생하며, 이 경우 극한 SDE에서 비영인 공분산이 발생한다.
• $\beta < 1$일 경우 극한 역학은 결정론적이며, $\beta = 1$일 경우 역학은 확률적이며, 확산 계수는 데이터 분포에 따라 달라진다.
• MNIST 및 CIFAR-10에서의 실험 결과는 두 영역의 존재를 확인한다: 가중치 분포 히스토그램이 $\beta$에 따라 별개의 극한 분포로 수렴하며, $\beta = 1$에서 명확한 분리가 관찰된다.
• 경험적 가중치 분포가 평균장 극한으로 수렴하는 경향은 $N$이 증가함에 따라 향상되며, 이는 배치 크기 $M$에 의해 영향을 받기도 하며, $M \to \infty$일 때 극한으로 수렴함을 관찰할 수 있다.