[논문 리뷰] Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks

Cong Fang, Jason D. Lee외 2명|arXiv (Cornell University)|2020. 07. 02.

Stochastic Gradient Optimization Techniques인용 수 13

한 줄 요약

이 논문은 과도하게 파rameter화된 딥 네ural 네트워크(DNNs)를 위한 새로운 평균장 프레임워크를 제안하며, 네트워크 가중치가 아닌 은닉 유닛 특징에 대한 확률 측도로 DNNs를 모델링한다. 비선형 역학인 '뉴럴 피처 플로우'를 정의함으로써, 저자들은 경사 하강법을 통한 훈련이 ResNet 아키텍처에서 전역적으로 최소 해로 수렴함을 보이며, 평균장 영역에서 3층 이상의 과도하게 파rameter화된 DNNs에 대해 전역 수렴 증명을 처음으로 제시한다.

ABSTRACT

This paper proposes a new mean-field framework for over-parameterized deep neural networks (DNNs), which can be used to analyze neural network training. In this framework, a DNN is represented by probability measures and functions over its features (that is, the function values of the hidden units over the training data) in the continuous limit, instead of the neural network parameters as most existing studies have done. This new representation overcomes the degenerate situation where all the hidden units essentially have only one meaningful hidden unit in each middle layer, and further leads to a simpler representation of DNNs, for which the training objective can be reformulated as a convex optimization problem via suitable re-parameterization. Moreover, we construct a non-linear dynamics called neural feature flow, which captures the evolution of an over-parameterized DNN trained by Gradient Descent. We illustrate the framework via the standard DNN and the Residual Network (Res-Net) architectures. Furthermore, we show, for Res-Net, when the neural feature flow process converges, it reaches a global minimal solution under suitable conditions. Our analysis leads to the first global convergence proof for over-parameterized neural network training with more than $3$ layers in the mean-field regime.

연구 동기 및 목표

• 과도하게 파arameter화된 딥 네럴 네트워크 분석의 이론적 한계, 특히 비볼록성과 전역 수렴 보장의 부재를 해결하기 위해.
• 중간층 은닉 유닛이 단일 효과적 유닛으로 붕괴되는 기존 평균장 모델의 열악한 성질을 극복하기 위해.
• 연속적이고 특징 기반의 DNNs 표현을 개발하여 훈련 目적의 볼록 재구성 가능성을 확보하기 위해.
• 과도하게 파arameter화된 DNNs의 훈련 중 진화를 기술하는 비선형 역학인 '뉴럴 피처 플로우'를 수립하기 위해.
• 특히 ResNet에 대해, 평균장 한계에서 경사 하강법의 전역 수렴을 증명하기 위해.

제안 방법

• 네트워크 가중치가 아닌 은닉 유닛의 출력에 대한 확률 측도를 사용하여 연속 근사에서 DNN을 표현한다.
• 특징 분포의 진화를 모델링하는 '뉴럴 피처 플로우'—McKean-Vlasov 유형의 비선형 편미분 방정식—을 도입한다.
• 특징 공간의 확률 측도 위에서의 볼록 최적화 문제로 훈련 목적을 재구성함으로써 전역 수렴 분석이 가능하게 한다.
• 평균장 한계에서의 안정성을 확보하기 위해 스케일링된 경사 하강법을 적용하여 이산적 훈련 역학과 연속적 피처 플로우를 연결한다.
• 유한한 넓이 근사에서 무한 넓이 네트워크의 변동성을 제어하기 위해 서브가우시안 및 서브지수 농도 부등식을 사용한다.
• 뉴럴 피처 플로우의 장기적 행동을 분석함으로써 적절한 가정 하에 최소값으로 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 중간층 유닛이 단일 효과적 유닛으로 붕괴되는 문제를 피할 수 있는 DNNs에 대한 평균장 프레임워크를 구성할 수 있는가?
• RQ2 제안된 특징 기반 평균장 모델이 DNN 훈련 목적의 볼록 재구성 가능성을 제공하는가?
• RQ3 뉴럴 피처 플로우 역학이 경사 하강법 하에서 과도하게 파arameter화된 DNNs의 훈련 궤적을 정확히 기술할 수 있는가?
• RQ4 적절한 조건 하에서 ResNet에 대한 뉴럴 피처 플로우가 전역 최소값으로 수렴하는가?
• RQ5 평균장 영역에서 3층 이상의 과도하게 파arameter화된 DNNs에 대해 전역 수렴을 증명할 수 있는가?

주요 결과

• 제안된 평균장 프레임워크는 특징에 대한 확률 측도를 사용하여, 가중치 기반 평균장 모델에서 관찰된 열악한 성질을 피한다.
• 적절한 재매개변수화 하에 연속적 DNN 표현의 훈련 목적은 볼록해지며, 전역 최적화 보장을 가능하게 한다.
• 뉴럴 피처 플로우는 과도하게 파arameter화된 DNNs의 경사 하강법 훈련 중 진화를 기술하며, 분석을 위한 연속 시간 동역학계를 제공한다.
• ResNet 아키텍처에 대해 적절한 가정 하에 뉴럴 피처 플로우가 전역 최소 해로 수렴한다.
• 이 작업은 평균장 영역에서 3층 이상의 과도하게 파arameter화된 딥 네럴 네트워크에 대해 전역 수렴을 증명한 최초의 결과이다.