[논문 리뷰] Phase diagram of Stochastic Gradient Descent in high-dimensional two-layer neural networks

Rodrigo Veiga, Ludovic Stephan외 3명|arXiv (Cornell University)|2022. 02. 01.

Stochastic Gradient Optimization Techniques인용 수 10

한 줄 요약

이 논문은 일반적인 학습률, 은닉층 너비, 입력 차원의 스케일링에 따라 스케일링된 학습률, 은닉층 너비, 입력 차원의 스케일링에 따라 고차원 두 층 신경망에서 확률적 경사 하강법(SGD)의 상 다이어그램을 엄밀하게 유도하여, 결정론적 미분방정식(ODE)으로 기술된 SGD 동역학을 유도함으로써, 오버파rametrized 및 얇은 네트워크에 대한 평균장 이론과 고전적 통계역학적 접근 간 오랫동안 존재해 온 격차를 해결한다. 이는 학습률, 은닉층 너비, 입력 차원 간의 상호작용에 따라 서로 다른 학습 영역—완벽한 학습, 불완전한 학습, 학습 실패—를 밝혀낸다.

ABSTRACT

Despite the non-convex optimization landscape, over-parametrized shallow networks are able to achieve global convergence under gradient descent. The picture can be radically different for narrow networks, which tend to get stuck in badly-generalizing local minima. Here we investigate the cross-over between these two regimes in the high-dimensional setting, and in particular investigate the connection between the so-called mean-field/hydrodynamic regime and the seminal approach of Saad & Solla. Focusing on the case of Gaussian data, we study the interplay between the learning rate, the time scale, and the number of hidden units in the high-dimensional dynamics of stochastic gradient descent (SGD). Our work builds on a deterministic description of SGD in high-dimensions from statistical physics, which we extend and for which we provide rigorous convergence rates.

연구 동기 및 목표

• 평균장/유체역학적 SGD 분석과 얇고 고차원적 네트워크에 대한 고전적 Saad & Solla 프레임워크 사이의 이론적 격차를 메우기 위해.
• 원래 스케일링 영역을 초월하여 일반적인 학습률과 너비 스케일링을 허용하는, SGD 동역학에 대한 결정론적 ODE 근사의 엄밀한 확장을 위해.
• 완전한 학습 성능 스펙트럼을 고차원 설정에서 특성화하기 위해, 완벽한 학습, 잔여 오차, 학습 실패를 포함한다.
• ODE 근사에 대한 비점근 수렴 보장을 제공하여 학습 동역학의 정밀한 분석을 가능하게 하기 위해.
• 학습 결과를 입력 차원에 대한 학습률 및 은닉 유닛 수의 스케일링 지수에 따라 분류하는 상 다이어그램을 수립하기 위해.

제안 방법

• 통계역학적 방법을 사용하여 고차원 설정에서 네트워크 가중치의 시간 진화를 기술하는 결정론적 ODE 집합을 유도한다.
• 기존 작업의 수렴 증명을 원래의 1/d 스케일링을 초월하여 학습률 스케일링(γ ∝ d⁻ᵟ)과 은닉층 너비 스케일링(p ∝ dᵏ)의 일반적인 스케일링으로 확장한다.
• 다양한 영역에서의 동역학을 통합하고 일반화하기 위해 시간 스케일링 파라미터 ϑ = κ + δ 를 도입한다.
• 교사-학생 프레임워크를 사용하여 가우시안 데이터와 정규직교 교사 가중치를 사용하여 학습 과제와 인구 위험을 정의한다.
• 스토크래틱 기울기를 기대값으로 대체하기 위해 자가평균 근사(self-averaging approximation)를 사용하여 상관행렬(Q, M, P)으로 표현된 폐쇄형 ODE 시스템을 도출한다.
• 다양한 스케일링 영역에서 수치 시뮬레이션과 ODE를 비교하여, 상 다이어그램의 모든 영역에서 뛰어난 일치를 보였다.

실험 결과

연구 질문

• RQ1 학습률 스케일링, 은닉층 너비, 입력 차원 간의 상호작용이 두 층 네트워크에서 SGD의 수렴성과 일반화에 어떻게 영향을 미치는가?
• RQ2 고전적 Saad & Solla의 ODE 프레임워크는 1/d 학습률과 고정 너비를 초월한 일반적인 스케일링 영역으로 확장될 수 있는가?
• RQ3 고차원 극한에서 나타나는 구분되는 학습 영역—완벽한 학습, 불완전한 학습, 학습 실패—는 무엇이며, 그 경계는 무엇에 의해 결정되는가?
• RQ4 초기 조건의 선택이 특화 동역학에 어떻게 영향을 미치며, 상 다이어그램은 이 선택에 의존하는가?
• RQ5 이 설정에서 SGD의 ODE 근사에 대해 비점근 수렴 보장을 확립할 수 있는가?

주요 결과

• 상 다이어그램은 은닉층 너비 스케일링(κ, p ∝ dᵏ)을 제어하는 κ와 학습률 스케일링(δ, γ ∝ d⁻ᵟ)을 제어하는 δ의 합 κ + δ 에 의해 완전히 결정된다.
• κ + δ > 0 일 때는 완벽한 학습이 발생하며, 이는 초과 오차의 거듭제곱 감쇠를 의미한다.
• κ + δ = 0 일 때는 일정한 비영 초과 오차를 가지는 평탄한 상태에 도달하며, 이는 고전적 Saad & Solla 스케일링에 해당한다.
• -1/2 < κ + δ < 0 일 때는 잔여 오차가 존재하는 불완전한 학습을 보이며, 장시간 한계에서도 사라지지 않는다.
• κ + δ < -1/2 일 때는 ODE 기술이 붕괴되며, 의미 있는 해로 수렴하지 못하는 영역에서 SGD가 수렴하지 못함을 나타낸다.
• 수치 시뮬레이션은 모든 영역에서 ODE 예측과 뛰어난 일치를 보였으며, 제약이 없는 가우시안 초기화 조건 하에서도 동역학과 최종 성능 모두에서 일치했다.