[논문 리뷰] Mean-Field Analysis of Two-Layer Neural Networks: Non-Asymptotic Rates and Generalization Bounds.

Zixiang Chen, Yuan Cao외 2명|arXiv (Cornell University)|2020. 02. 10.

Stochastic Gradient Optimization Techniques참고 문헌 1인용 수 2

한 줄 요약

이 논문은 노이즈가 있는 경사하강법과 가중치 감소를 사용해 훈련된 두 층 신경망에 대한 평균장 분석을 제공하며, 비점근 수렴 속도와 일반화 오차 한계를 확립한다. 선형 수렴가능성을 특정 정확도 이내에서 보여주며, 일반화된 신경 장자 커널 영역에서 커널 유사 행동을 입증함으로써 평균장 분석과 신경 장자 커널 분석을 연결한다.

ABSTRACT

A recent line of work in deep learning theory has utilized the mean-field analysis to demonstrate the global convergence of noisy (stochastic) gradient descent for training over-parameterized two-layer neural networks. However, existing results in the mean-field setting do not provide the convergence rate of neural network training, and the generalization error bound is largely missing. In this paper, we provide a mean-field analysis in a generalized neural tangent kernel regime, and show that noisy gradient descent with weight decay can still exhibit a kernel-like behavior. This implies that the training loss converges linearly up to a certain accuracy in such regime. We also establish a generalization error bound for two-layer neural networks trained by noisy gradient descent with weight decay. Our results shed light on the connection between mean field analysis and the neural tangent kernel based analysis.

연구 동기 및 목표

• 노이즈가 있는 경사하강법으로 훈련된 두 층 신경망에 대한 평균장 분석에서 비점근 수렴 속도를 제공함으로써 기존 분석의 격차를 메운다.
• 가중치 감소를 고려한 평균장 설정 하에서 두 층 신경망의 일반화 오차 한계를 유도한다.
• 노이즈가 있는 경사하강법에 가중치 감소를 적용할 경우 일반화된 신경 장자 커널 영역에서 커널 유사 행동이 유지됨을 보여준다.
• 과다 매개변수화된 두 층 신경망에서 평균장 분석과 신경 장자 커널 기반 분석 간 이론적 연결을 수립한다.

제안 방법

• 분석은 표준 평균장 가정을 초월하는 일반화된 신경 장자 커널 영역에서 수행된다.
• 저자들은 노이즈가 있는 경사하강법으로 훈련되는 동안 네트워크 가중치의 진동을 모델링하기 위해 평균장 근사 접근법을 사용한다.
• 가중치 감소는 최적화 동역학에 통합되어 훈련 과정을 정규화하고 일반화 성능을 향상시킨다.
• 평균장 동역학을 지배하는 Fokker-Planck 방정식의 이동항과 확산항을 분석함으로써 수렴 속도를 도출한다.
• 평균장 프레임워크 하에서 Rademacher 복잡도와 농도 부등식을 사용하여 일반화 오차 한계를 확립한다.
• 분석 결과, 훈련 동역학이 커널 영역에 머무르며 최적 해의 이웃으로 선형 수렴 가능성이 있음을 보여준다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 경사하강법으로 훈련된 두 층 신경망의 평균장 분석에서 비점근 수렴 속도를 확립할 수 있는가?
• RQ2 가중치 감소를 고려한 평균장 설정 하에서 노이즈가 있는 경사하강법으로 훈련된 두 층 신경망의 일반화 오차 한계는 무엇인가?
• RQ3 가중치 감소의 포함이 평균장 근사에서 커널 유사 행동을 유지하는가?
• RQ4 과다 매개변수화된 두 층 신경망에서 평균장 분석은 신경 장자 커널 프레임워크와 어떻게 관련이 있는가?

주요 결과

• 노이즈가 있는 경사하강법과 가중치 감소는 평균장 영역에서 최적 해의 이웃으로 선형 수렴 가능성을 보인다. 이는 특정 정확도 이내에서 성립한다.
• 훈련 손실은 선형적으로 수렴하며, 이 수렴 속도는 네트워크의 너비와 학습률에 의존한다.
• 적절한 가정 하에 일반화 오차는 O(1/√n) 비례하는 항으로 한정되며, 여기서 n은 훈련 샘플 수이다.
• 가중치 감소가 적용된 상황에서도 최적화 동역학은 커널 영역에 머물며, 이는 함수 공간에서 네트워크가 선형 모델처럼 행동함을 의미한다.
• 분석은 평균장 분석과 신경 장자 커널 기반 분석 간 이론적 연결을 수립하며, 과다 매개변수화된 영역에서의 일관성을 보여준다.