[논문 리뷰] SGD in the Large: Average-case Analysis, Asymptotics, and Stepsize Criticality

Courtney Paquette, Kiwon Lee외 2명|arXiv (Cornell University)|2021. 02. 08.

Stochastic Gradient Optimization Techniques참고 문헌 76인용 수 4

한 줄 요약

이 논문은 고차원 설정에서 확률적 경사 하강법(SGD)에 대한 새로운 평균 케이스 분석 프레임워크를 제안한다. 랜덤 매트릭스 이론을 활용하여, 고정된 스텝사이즈를 사용할 경우, 무작위 최소 제곱 문제에서의 SGD 동역학은 결정론적이며 볼테라 적분 방정식에 의해 지배됨을 보여준다. 이는 수렴 행동이 단계 전이를 겪는 임계 스텝사이즈가 존재함을 시사하며, 악성 경우의 경계보다 훨씬 뛰어난 명시적인 평균 케이스 수렴 속도를 제공한다.

ABSTRACT

We propose a new framework, inspired by random matrix theory, for analyzing the dynamics of stochastic gradient descent (SGD) when both number of samples and dimensions are large. This framework applies to any fixed stepsize and the finite sum setting. Using this new framework, we show that the dynamics of SGD on a least squares problem with random data become deterministic in the large sample and dimensional limit. Furthermore, the limiting dynamics are governed by a Volterra integral equation. This model predicts that SGD undergoes a phase transition at an explicitly given critical stepsize that ultimately affects its convergence rate, which we also verify experimentally. Finally, when input data is isotropic, we provide explicit expressions for the dynamics and average-case convergence rates (i.e., the complexity of an algorithm averaged over all possible inputs). These rates show significant improvement over the worst-case complexities.

연구 동기 및 목표

• 데이터 크기와 모델 차원이 모두 클 때 SGD 동역학을 분석하기 위한 새로운 이론적 프레임워크를 개발하는 것.
• 특히 비점근적, 유한합 설정에서 고정 스텝사이즈가 SGD 수렴에 미치는 영향을 이해하는 것.
• 악성 경우 경계보다 실제 성능을 더 정확히 반영하는 평균 케이스 수렴 속도를 도출하는 것.
• SGD 동역학이 단계 전이를 겪는 임계 스텝사이즈를 특정하는 것.

제안 방법

• 고차원 최소 제곱 문제에서 헤시안의 고유값 분포를 모델링하기 위해 랜덤 매트릭스 이론을 사용한다.
• 고정 스텝사이즈를 갖는 SGD의 한계 동역학을 지배하는 결정론적 볼테라 적분 방정식을 유도한다.
• 스텝사이즈, 강제 함수, 고유값 측도의 함수로 볼테라 방정식의 해를 특성화한다.
• 고차원 극한 하에서 경험적 스펙트럼 측도의 약한 수렴을 확립한다.
• 등방향 및 하나의 은닉층 데이터 모델에 이 방법을 적용하여 명시적인 평균 케이스 수렴 속도를 유도한다.
• 볼테라 모델과 SDE, SME, 스트리밍 모델을 비교한 수치 시뮬레이션을 통해 예측을 검증한다.

실험 결과

연구 질문

• RQ1 고정 스텝사이즈 하에서 대규모 표본, 고차원 극한에서 SGD 동역학은 어떻게 행동하는가?
• RQ2 유한합, 비점근적 영역에서 SGD의 동역학은 결정론적 방정식로 기술될 수 있는가?
• RQ3 SGD 수렴 행동이 단계 전이를 겪는 임계 스텝사이즈가 존재하는가?
• RQ4 등방향 데이터 하에서 SGD의 평균 케이스 수렴 속도는 무엇이며, 악성 경우 경계와 비교해 어떻게 되는가?
• RQ5 제안된 볼테라 모델은 기존의 확률 모델들에 비해 실제 SGD 성능을 얼마나 잘 예측하는가?

주요 결과

• 무작위 최소 제곱 문제에서의 SGD 동역학은 대규모 표본, 고차원 극한에서 볼테라 적분 방정식의 해로 수렴한다.
• 임계 스텝사이즈에서 단계 전이가 발생하며, 이는 명시적으로 유도되었고 수렴 속도에 비연속적인 영향을 미침을 보여준다.
• 등방향 데이터의 경우, 평균 케이스 수렴 속도는 악성 경우 경계보다 훨씬 뛰어나며, 명시적인 폐형 표현식이 제공된다.
• 볼테라 모델은 다양한 스텝사이즈에서 SGD 성능을 정확히 추적하며, SDE, SME, 스트리밍 모델보다 정밀도가 뛰어나다.
• 임계 스텝사이즈 임계점은 파rameter 수 대 표본 수의 비율과 헤시안의 고유값 분포의 함수로 유도된다.
• 수치 실험은 이론적 예측을 확인하였으며, 볼테라 모델은 SGD 동역학을 잘 따라가지만, 다른 모델들은 심각한 편향을 유도함을 보여준다.