[논문 리뷰] Mean-field theory of two-layers neural networks: dimension-free bounds and kernel limit

Mei Song, Theodor Misiakiewicz외 1명|arXiv (Cornell University)|2019. 02. 16.

Stochastic Gradient Optimization Techniques참고 문헌 21인용 수 93

한 줄 요약

논문은 두 층 네트워크의 SGD에 대한 평균장(mean-field) 근사에 대한 차원 독립적 비점근 경계를 제시하고, 무한대 활성화와 노이즈가 있는 SGD로 확장하며, 커널 한계에서 평균장 다이내믹스와 커널 리지 회귀를 연결합니다.

ABSTRACT

We consider learning two layer neural networks using stochastic gradient descent. The mean-field description of this learning dynamics approximates the evolution of the network weights by an evolution in the space of probability distributions in $R^D$ (where $D$ is the number of parameters associated to each neuron). This evolution can be defined through a partial differential equation or, equivalently, as the gradient flow in the Wasserstein space of probability distributions. Earlier work shows that (under some regularity assumptions), the mean field description is accurate as soon as the number of hidden units is much larger than the dimension $D$. In this paper we establish stronger and more general approximation guarantees. First of all, we show that the number of hidden units only needs to be larger than a quantity dependent on the regularity properties of the data, and independent of the dimensions. Next, we generalize this analysis to the case of unbounded activation functions, which was not covered by earlier bounds. We extend our results to noisy stochastic gradient descent. Finally, we show that kernel ridge regression can be recovered as a special limit of the mean field analysis.

연구 동기 및 목표

• 학습에 대한 mean-field 서술을 SGD 하에서 두 층 신경망으로 동기 부여 및 분석합니다.
• SGD와 편 PDE/mean-field 다이내믹스 사이의 차원 독립적 비점근 근사 보장을 도출합니다.
• 활성화가 무한대일 때와 노이즈가 있는 SGD로 분석을 확장합니다.
• mean-field 다이내믹스의 커널 한계에서 커널 리지 회귀가 어떻게 등장하는지 보입니다.

제안 방법

• 네트워크를 매개변수 ϑi=(ai,wi)와 활성화 σ*의 평균으로 모델링하고 뉴런들의 경험적 분포 ^(N) 를 연구합니다.
• Ψ와 그 구성 요소인 V, U를 가진 분포 공간 ρt 위의 PDE로 mean-field 진화를 형식화합니다.
• 차원 독립적 경계를 입증하여 SGD가 평균장 PDE를 근사하고 오차가 1/√N으로 감소하며 √(D+log N) 및 √ε 항을 포함함을 보입니다.
• 강화된 가정 하에서 확산 항이 있는 확산-확정 PDE로 이어지는 노이즈가 있는 SGD로 확장하고 경계를 제공합니다.
• 스케일 α에 따른 커널 한계를 도입하여 짧은 시간/선형화 구간에서 잔여(residual) 다이내믹스가 커널 리지 회귀와 정렬되도록 합니다.
• 잔여와 커널 진화 간의 결합 다이내믹스를 입증하고 선형화된 다이내믹스를 통해 커널 한계 분석을 수행합니다.

실험 결과

연구 질문

• RQ1 두 층 네트워크에 대해 mean-field PDE가 SGD에 대한 차원 독립적 근사치를 제공하는 조건은 무엇인가?
• RQ2 무한대 활성화와 노이즈 SGD가 mean-field 근사의 정확도에 어떤 영향을 미치는가?
• RQ3 mean-field 다이내믹스의 커널 한계에서 커널 리지 회귀를 회복할 수 있는가, 그리고 이 한계의 성격은 무엇인가?
• RQ4 커널/mean-field 결합에 스케일 매개변수 α를 도입하면 무엇이 달라지며, 수렴성과 잔여 다이내믹스에 어떤 영향을 끼치는가?
• RQ5 SGD와 mean-field 설명 사이의 근사 경계에 대한 정량적 속도와 의존성(N, D, ε, T)은 무엇인가?

주요 결과

• 은닉 단위의 수 N은 차원 D에 독립적이며 데이터 규칙성에 의존하는 양보다 커야 mean-field 근사가 성립합니다.
• 적절한 조건 하에 유계 활성화와 무한대 활성화 모두에 대해 차원 독립적 경계가 확립됩니다.
• 고정 계수 설정에서 노이즈 SGD는 확산 항이 있는 PDE를 가지며 차원 독립 경계가 성립하지만, 무한대 계수의 일부 경우에는 완전한 차원 독립 스케일링이 손실됩니다.
• 커널 리지 회귀는 mean-field 분석의 짧은 시간, 선형화된 다이내믹스를 통해 특수한 한계로부터 회복될 수 있습니다.
• 잔여 진화와 결합된 커널 한계 다이내믹스는 시각적으로 데이터에 의존하는 시간에 따라 변하는 커널을 나타내며 mean-field SGD와 커널 방법 사이의 다리를 제공합니다.
• 활성화 한계를 완화하고 노이즈를 포함시키며 차원 독립 의존성을 입증함으로써 이전 연구를 일반화합니다.