[논문 리뷰] Global convergence of neuron birth-death dynamics

Grant M. Rotskoff, Samy Jelassi외 2명|arXiv (Cornell University)|2019. 02. 05.

Model Reduction and Neural Networks참고 문헌 25인용 수 15

한 줄 요약

이 논문은 오버파ram터화된 신경망에서 수렴 속도를 향상시키기 위해 비국소 질량 이동을 통해 경량 흐름을 수정함으로써 뉴런 탄생-사멸 역학을 제안한다. 이는 전역 최소값으로의 전역 수렴을 증명하며 에너지 수축 속도가 빠르고, 자기 억제되는 변동성을 보이며, 표준 경량 하강법보다 우수한 구현 가능한 수치적 방법을 제공한다. 유한한 파rameter 수를 가진 경우에도 성능이 뛰어나다.

ABSTRACT

Neural networks with a large number of parameters admit a mean-field description, which has recently served as a theoretical explanation for the favorable training properties of "overparameterized" models. In this regime, gradient descent obeys a deterministic partial differential equation (PDE) that converges to a globally optimal solution for networks with a single hidden layer under appropriate assumptions. In this work, we propose a non-local mass transport dynamics that leads to a modified PDE with the same minimizer. We implement this non-local dynamics as a stochastic neuronal birth-death process and we prove that it accelerates the rate of convergence in the mean-field limit. We subsequently realize this PDE with two classes of numerical schemes that converge to the mean-field equation, each of which can easily be implemented for neural networks with finite numbers of parameters. We illustrate our algorithms with two models to provide intuition for the mechanism through which convergence is accelerated.

연구 동기 및 목표

• 표준 경량 하강법을 초월하여 오버파aram터화된 신경망에서 수렴 속도를 가속화하기 위해.
• 전역 최적성을 유지하면서 수렴 속도를 향상시키는 비국소 질량 이동 역학을 개발하기 위해.
• 유한 입자 시스템에서의 변동성을 분석하고, 최적화가 국소 최소에 가까워질수록 이들이 자발적으로 감쇠됨을 보여주기 위해.
• 최소한의 계산 부담으로 PyTorch에서 구현 가능한 실용적인 수치적 방법을 설계하기 위해.
• 제안된 역학이 유한 폭 신경망에서 수렴 속도를 가속화함을 경험적으로 입증하기 위해.

제안 방법

• 워샤르슈타인 경량 흐름에 비국소 탄생-사멸 과정을 추가하여 유도된 비국소 질량 이동을 포함한 수정된 편미분방정식(PDE)을 도입하여 매개변수 분포의 진화를 기술한다.
• 두 가지 별개의 탄생-사멸 역학을 정의한다: 한쪽은 측도 기반 Fokker-Planck 방정식에 기반하고, 다른 한쪽은 연합 분포 PDE에 기반하며, 둘 다 질량을 보존하고 전역 수렴을 보장한다.
• 최적 운반 이론과 측도 기반 마코프 과정 도구를 사용하여 평균장 근사 주변의 변동성을 분석하고, 이들이 $O(n^{-1/2})$의 크기로 스케일링되며 渐진적으로 사라짐을 보여준다.
• 입자 역학 기반과 커널 기반 업데이트 기반의 두 가지 수치적 방법을 유도하며, 이들은 평균장 PDE로 수렴하고 신경망에서 추가적인 기울기 계산 없이도 구현 가능하다.
• PDE에서 유도된 수치적 방법의 PyTorch 호환 구현을 제공하여, 모델 아키텍처를 수정하지 않고도 유한 폭의 네트워크에 직접 적용할 수 있도록 한다.
• 역학의 장기적 행동을 분석하여, 수렴 시 노이즈 항목이 사라짐을 증명하며, 이를 '자기 억제'라고 부른다.

실험 결과

연구 질문

• RQ1 오버파aram터화된 신경망에서 수렴 속도를 향상시키면서 전역 최적성을 유지하기 위해 비국소 질량 이동 메커니즘을 설계할 수 있는가?
• RQ2 제안된 탄생-사멸 역학 하에서 유한 입자 시스템의 변동성은 어떻게 행동하며, 이는 수렴을 방해하는가?
• RQ3 평균장 근사에서 탄생-사멸 역학 하에서 에너지 수축 속도는 표준 경량 하강법 대비 어떻게 되는가?
• RQ4 제안된 역학은 최소한의 계산 비용으로 유한 폭의 네트워크에서 수치적으로 실현 가능한가?
• RQ5 변동성의 자기 억제 성질이 실용적 환경에서 전역 최소값으로의 안정적 수렴을 보장하는가?

주요 결과

• 제안된 탄생-사멸 역학은 손실 함수의 전역 최소값으로 전역 수렴을 보장하며, 임의의 국소 최소점이 존재하지 않는다.
• 에너지 수축 속도가 표준 경량 하강법보다 더 빠르며, 상호작용이 없는 경우에 대해 명시적인 渐진 수렴 속도를 도출하였다.
• 유한 입자 시스템에서의 변동성은 $O(n^{-1/2})$의 크기이며 자기 억제되며, 역학이 전역 최소점에 가까워질수록 점점 0으로 수렴한다.
• 이 역학에 대한 평균장 PDE는 질량을 보존하며 잘 정의되어 있으며, 적절한 가정 하에 해가 전역 최소점으로 수렴함을 보였다.
• PDE에서 유도된 수치적 방법은 평균장 근사로 수렴하며, 단순 모델에서 검증된 바에 따르면 유한 폭의 네트워크에서 훈련을 가속화한다.
• 신경망 훈련에서 탄생-사멸 역학을 구현하는 데 드는 계산 비용은 최소한이며, 추가적인 기울기 계산이 필요하지 않다.