[논문 리뷰] Overparameterization of deep ResNet: zero loss and mean-field analysis

Zhiyan Ding, Shi Chen외 2명|arXiv (Cornell University)|2021. 05. 30.

Stochastic Gradient Optimization Techniques참고 문헌 43인용 수 8

한 줄 요약

이 논문은 연속적이고 평균장 한계 접근법을 사용하여 과다 매개변수화된 딥 Residual Networks(ResNet)를 연구하며, 넓은 네트워크와 무한한 깊이의 영역에서 경사하강법이 영 loss 해법으로 수렴함을 보여준다. 평균장 한계에서 PDE 기반 경사 유량을 유도함으로써 저자들은 솔루션이 전역 최소화자로 수렴함을 증명하며, 높은 확률로 근사 영 loss를 달성하기 위해 필요한 깊이와 넓이에 대한 명시적 경계를 제시한다.

ABSTRACT

Finding parameters in a deep neural network (NN) that fit training data is a nonconvex optimization problem, but a basic first-order optimization method (gradient descent) finds a global optimizer with perfect fit (zero-loss) in many practical situations. We examine this phenomenon for the case of Residual Neural Networks (ResNet) with smooth activation functions in a limiting regime in which both the number of layers (depth) and the number of weights in each layer (width) go to infinity. First, we use a mean-field-limit argument to prove that the gradient descent for parameter training becomes a gradient flow for a probability distribution that is characterized by a partial differential equation (PDE) in the large-NN limit. Next, we show that under certain assumptions, the solution to the PDE converges in the training time to a zero-loss solution. Together, these results suggest that the training of the ResNet gives a near-zero loss if the ResNet is large enough. We give estimates of the depth and width needed to reduce the loss below a given threshold, with high probability.

연구 동기 및 목표

• 비볼록성에도 불구하고 과다 매개변수화된 ResNet에서 경사하강법이 영 또는 근사 영 훈련 손실을 달성하는 이유를 설명하는 것.
• 연속적이고 평균장 근사법을 사용하여 무한한 깊이와 넓이의 극한에서 깊은 ResNet의 훈련 역학을 분석하는 것.
• 평균장 한계에서의 경사 유량이 전역 최소화자로 수렴함을 입증하여, 큰 유한한 네트워크에서 근사 영 손실이 발생함을 의미하는 것.
• 주어진 임계값 이하로 손실을 낮추기 위해 필요한 네트워크의 깊이와 넓이에 대한 명시적 정량적 추정치를 제공하는 것.

제안 방법

• 층 수 $ L \to \infty $로 갈 때 연속적 근사를 유도하여, 매개변수 구성 정보를 담은 힘 항이 있는 ODE로 ResNet을 변환한다.
• 넓이 $ M \to \infty $로 갈 때 평균장 근사를 적용하여 ODE를 일반적 적분 방정식(OIE)으로 전환하며, 여기서 매개변수는 확률 분포로 대체된다.
• 유한 매개변수에서의 경사하강법을 대규모 네트워크 근사에서 확률 분포 위의 경사 유량으로 변환한다. 이는 대규모 네트워크 근사에서 PDE로 특징지어진다.
• 특히 정적 평형 분석을 사용한 PDE 분석을 통해, 특정 가정 하에 PDE 해가 영 손실 상태로 수렴함을 보여준다.
• 한계 근사에서 ODE 및 PDE 수식의 잘 정의됨을 입증한다.
• 주어진 임계값 이하로 손실을 낮추기 위해 필요한 깊이 $ L $ 과 넓이 $ M $ 에 대한 정량적 추정치를 제공한다.

실험 결과

연구 질문

• RQ1 과다 매개변수화된 ResNet에서 경사하강법이 영 손실 해로 수렴하는 조건은 무엇인가?
• RQ2 무한한 깊이와 넓이의 극한에서 ResNet의 훈련 역학은 어떻게 행동하는가?
• RQ3 ResNet의 평균장 한계는 PDE로 기술될 수 있으며, 그 해는 전역 최소화자로 수렴하는가?
• RQ4 높은 확률로 근사 영 훈련 손실을 확보하기 위해 필요한 깊이와 넓이의 명시적 경계는 무엇인가?
• RQ5 연속적이고 평균장 한계 과정은 이산적 경사하강법을 확률 측도 위의 연속적 경사 유량으로 어떻게 변환하는가?

주요 결과

• 적절한 가정 하에 ResNet의 평균장 한계에서 유도된 PDE는 영 손실 해로 수렴하며, 이는 대규모 네트워크 근사에서 경사하강법이 전역 최소화자에 도달함을 시사한다.
• 무한한 깊이와 무한한 넓이 근사에서 영 손실로의 수렴은 보장되며, PDE 해는 장기적으로 영 비용에 도달한다.
• 유한하지만 큰 네트워크에서는 깊이 $ L $ 과 넓이 $ M $ 가 충분히 크면 손실이 주어진 임계값 이하로 낮아질 수 있으며, 이는 높은 확률로 성립한다.
• 달성 가능한 영 손실 수준에 따라 필요한 $ L $ 과 $ M $ 에 대한 명시적 정량적 경계가 유도되었으며, 이는 목표 임계값과 신뢰 수준에 따라 달라진다.
• 한계 경사 유량은 잘 정의되어 있으며, 정적 평형 분석을 통해 PDE 해가 전역 최소화자로 수렴함이 엄밀히 입증된다.
• 분석 결과는 유한 네트워크 영역에서의 경사하강법 궤적은 PDE 유량을 잘 근사함을 보여주며, 이는 GD가 영 손실을 달성하는 데 있어 경험적 성공을 설명한다.