[논문 리뷰] A mean-field limit for certain deep neural networks

Dyego Carlos Souza Anacleto de Araújo, Roberto I. Oliveira외 1명|arXiv (Cornell University)|2019. 06. 01.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 39

한 줄 요약

논문은 L≥3, 큰 폭(N), 입력과 출력 근처의 고정된 임의 특징에 대한 심층 신경망의 학습 동역학을 설명하는 mean-field(McKean-Vlasov) 극한을 도출한다. 가중치가 이상적인 입자처럼 동작하며 분포가 mean-field 모델에 의해 지배되고, 이 맥락에서 McKean-Vlasov 문제의 존재성 및 고유성을 증명한다.

ABSTRACT

Understanding deep neural networks (DNNs) is a key challenge in the theory of machine learning, with potential applications to the many fields where DNNs have been successfully used. This article presents a scaling limit for a DNN being trained by stochastic gradient descent. Our networks have a fixed (but arbitrary) number $L\geq 2$ of inner layers; $N\gg 1$ neurons per layer; full connections between layers; and fixed weights (or "random features" that are not trained) near the input and output. Our results describe the evolution of the DNN during training in the limit when $N o +\infty$, which we relate to a mean field model of McKean-Vlasov type. Specifically, we show that network weights are approximated by certain "ideal particles" whose distribution and dependencies are described by the mean-field model. A key part of the proof is to show existence and uniqueness for our McKean-Vlasov problem, which does not seem to be amenable to existing theory. Our paper extends previous work on the $L=1$ case by Mei, Montanari and Nguyen; Rotskoff and Vanden-Eijnden; and Sirignano and Spiliopoulos. We also complement recent independent work on $L>1$ by Sirignano and Spiliopoulos (who consider a less natural scaling limit) and Nguyen (who nonrigorously derives similar results).

연구 동기 및 목표

• SGD로 훈련될 때 심층 신경망이 어떻게 진화하는지 이해하기 위한 평균장 스케일링 접근 방식 동기 부여
• 얕은 네트워크의 평균장 결과를 layered 경로 의존성을 가진 심층 아키텍처로 확장
• 입력–출력 경로를 따라 층 의존적인 가중치 분포와 상호 작용을 포착하는 엄밀한 McKean-Vlasov 프레임워크 설명
• 결과로 도출된 McKean-Vlasov 문제의 존재성 및 고유성 입증 및 SGD 동역학을 연속 시간 그라디언트 흐름과의 관계 제시

제안 방법

• L≥3 히든 층, 층당 N 개의 뉴런, 완전 연결, 입력 및 출력의 고정된 무작위 특징을 가진 심층 네트워크 모델 도입
• 가중치가 입력–출력 경로를 따라 상호 작용하는 입자처럼 동작하며 그 법칙이 평균장 측정으로 기술된다는 해를 구성
• 네트워크 경로를 따라 뉴런 값과 그래디언트의 평균장 표현 도출로 McKean-Vlasov 진화로 이어지게 함
• 심층 네트워크 평균장 한계에서 발생하는 McKean-Vlasov 문제의 존재성 및 고유성 증명
• SGD 업데이트를 평균장 설정의 연속 시간 그라디언트 흐름과 연결
• 다른 연구와의 비교 및 층별 스케일링 및 시간 척도 영향 논의

실험 결과

연구 질문

• RQ1 다수의 뉴런을 가진 깊은 네트워크와 고정된 입력/출력 특징에서 적합한 평균장 스케일링은 무엇인가?
• RQ2 대형 N에서 층 의존 가중치 분포는 SGD에 따라 어떻게 진화하며 파손 전파(Propagation of chaos)나 경로 의존성을 나타내는가?
• RQ3 깊은 신경망의 학습 동역학을 정확히 설명하는 McKean-Vlasov 문제를 형식화하고 풀 수 있는가?
• RQ4 이 평균장 체계에서 SGD 동역학, 이상적인 입자 표현, 연속 시간 그라디언트 흐름 간의 관계는 무엇인가?
• RQ5 이 심층 네트워크 평균장 한계가 기존의 얕은 네트워크 결과를 어떻게 확장하고 문헌 내 다른 스케일링 한계와 어떻게 연결되는가?

주요 결과

• 큰 폭을 가지는 심층 네트워크의 가중치는 McKean-Vlasov 과정에 의해 설명되는 분포로 수렴하며 층 의존적이고 경로 구조의 의존성을 포착한다.
• 해석은 입력–출력 경로를 기반으로 한 해를 도입하며 이상적 입자와 그 분포가 동역학을 지배한다.
• 제안된 프레임워크 하에서 McKean-Vlasov 문제의 존재성과 고유성이 확립된다.
• 그래디언트와 손실은 경로 측정과 연계된 평균장 양으로 근사될 수 있어 SGD를 연속 시간 그라디언트 흐름과 연결한다.
• 이 연구는 얕은 네트워크 결과를 더 깊은 아키텍처로 확장하고 입력 및 출력에 가까운 무작위 특징의 역할을 명확히 한다.
• 관련 독립 연구를 보완하며 스케일링과 시간 척도에 대한 차이를 논의한다.