[논문 리뷰] Global Convergence of Three-layer Neural Networks in the Mean Field Regime

Huy Tuan Pham, Phan-Minh Nguyen|arXiv (Cornell University)|2021. 05. 11.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 4

한 줄 요약

이 논문은 평균장 영역에서 확률적 경사하강법에 의한 정규화되지 않은 세 층 신경망에 대해 전역 수렴성을 확립한다. 서로 얽힌 대칭군을 다룰 수 있는 새로운 뉘앙스 임bedding 프레임워크를 도입함으로써, 볼록성에 의존하지 않고도 전역 최적해 수렴을 증명하며, 대수적 위상수학적 추론을 통한 유한 시간 내 보편 근사 성질을 활용한다.

ABSTRACT

In the mean field regime, neural networks are appropriately scaled so that as the width tends to infinity, the learning dynamics tends to a nonlinear and nontrivial dynamical limit, known as the mean field limit. This lends a way to study large-width neural networks via analyzing the mean field limit. Recent works have successfully applied such analysis to two-layer networks and provided global convergence guarantees. The extension to multilayer ones however has been a highly challenging puzzle, and little is known about the optimization efficiency in the mean field regime when there are more than two layers. In this work, we prove a global convergence result for unregularized feedforward three-layer networks in the mean field regime. We first develop a rigorous framework to establish the mean field limit of three-layer networks under stochastic gradient descent training. To that end, we propose the idea of a extit{neuronal embedding}, which comprises of a fixed probability space that encapsulates neural networks of arbitrary sizes. The identified mean field limit is then used to prove a global convergence guarantee under suitable regularity and convergence mode assumptions, which -- unlike previous works on two-layer networks -- does not rely critically on convexity. Underlying the result is a universal approximation property, natural of neural networks, which importantly is shown to hold at extit{any} finite training time (not necessarily at convergence) via an algebraic topology argument.

연구 동기 및 목표

• 세 층 신경망의 평균장 영역에서 전역 수렴성을 확립하기 위해, 최적화 동역학이 비선형 극한에 의해 지배되는 경우를 다룬다.
• 다층 네트워크에서 상호 얽힌 대칭군의 개념적 과제를 해결하기 위해, 이전의 평균장 분석을 방해하는 요소를 다룬다.
• 확률적 경사하강법으로 훈련되는 세 층 네트워크의 평균장 극한에 대한 엄밀한 프레임워크를 개발한다.
• 이전의 두 층 분석과 달리 볼록성에 의존하지 않고 전역 수렴성을 증명한다.
• 수렴 시점 뿐 아니라 유한한 훈련 시간 동안도 성립하는 보편 근사 성질을 입증한다.

제안 방법

• 뉴런 임bedding을 도입한다 — 임의의 너비를 가진 신경망을 포함하는 고정된 확률 공간으로, 평균장 극한 분석을 가능하게 한다.
• Sznitman(1991)과 Mei 등(2018)의 영감을 받은 측도 이론적 프레임워크를 사용하여 유한 너비 네트워크와 그 평균장 극한 간의 엄밀한 연결을 확립한다.
• 정량적 근사 경계를 확립한다: $n_{\min}^{-1}\log n_{\max} \ll 1$ 조건을 만족할 경우, 데이터 차원과 무관하게 평균장 극한이 네트워크를 잘 근사한다.
• 유한한 훈련 시간 동안도 유효한 보편 근사 성질을 증명하기 위해 대수적 위상수학적 추론을 활용한다.
• 볼록성 가정 없이도, 적절한 정규성 및 수렴 방식 조건 하에 평균장 극한이 전역 최적해로 수렴함을 증명한다.
• Chizat & Bach(2018)의 기법을 변형하여, 새로운 프레임워크를 통해 비볼록성과 세 층 구조를 동시에 다룰 수 있도록 확장한다.

실험 결과

연구 질문

• RQ1 볼록성의 부재에도 불구하고 평균장 영역에서 세 층 신경망의 전역 수렴성을 확립할 수 있는가?
• RQ2 다층 네트워크에서 상호 얽힌 대칭군은 평균장 극한에서 어떻게 체계적으로 다뤄질 수 있는가?
• RQ3 수렴 시점 뿐 아니라 유한한 훈련 시간 동안도 세 층 네트워크에 대해 보편 근사 성질이 성립하는가?
• RQ4 평균장 극한이 훈련 중에 유한 너비 네트워크를 얼마나 정확히 근사하는가에 영향을 주는 조건은 무엇인가?
• RQ5 이전의 두 층 분석처럼 볼록성에 의존하지 않고도 수렴 보장을 증명할 수 있는가?

주요 결과

• 뉴런 임bedding 프레임워크는 다중 대칭군이 동시에 작용하는 상황에서도 세 층 네트워크의 평균장 극한을 성공적으로 포괄한다.
• 유한 너비 네트워크를 평균장 극한이 잘 근사하는 조건은 $n_{\min}^{-1}\log n_{\max} \ll 1$ 이며, 이는 데이터 차원과 무관하다.
• 적절한 정규성 및 수렴 방식 조건 하에 평균장 극한은 전역 최적해로 수렴한다.
• 이 증명은 볼록성에 의존하지 않으며, 이는 이전의 두 층 평균장 분석에 비해 개념적 발전이다.
• 대수적 위상수학적 추론을 통해 어떤 유한한 훈련 시간 동안도 보편 근사 성질이 성립함을 입증하였으며, 이는 수렴 결과에 핵심적이다.
• 프레임워크는 i.i.d. 초기화를 초월하여 비-i.i.d. 초기화 방법도 처리할 수 있어, 이전의 수식화에 대한 한계를 극복한다.