[논문 리뷰] Asymptotic Analysis via Stochastic Differential Equations of Gradient Descent Algorithms in Statistical and Computational Paradigms

Yazhen Wang|arXiv (Cornell University)|2017. 11. 27.

Stochastic Gradient Optimization Techniques참고 문헌 92인용 수 8

한 줄 요약

이 논문은 확률적 미분 방정식(SDE)를 사용하여 경사하강법 알고리즘의 통합된 계산적 및 통계적 渐近 분석 프레임워크를 수립한다. 이는 확률적 및 가속 경사하강법이 시간에 따라 변화하는 옴스타인-울렌벡 과정으로 수렴함을 보여주는 경사 흐름 중심극한정리들을 유도하며, 대량의 표본과 대량의 반복 횟수 조건 하에서 알고리즘 동역학과 통계적 추정기 성능을 동시에 분석할 수 있게 한다.

ABSTRACT

This paper investigates asymptotic behaviors of gradient descent algorithms (particularly accelerated gradient descent and stochastic gradient descent) in the context of stochastic optimization arising in statistics and machine learning where objective functions are estimated from available data. We show that these algorithms can be computationally modeled by continuous-time ordinary or stochastic differential equations. We establish gradient flow central limit theorems to describe the limiting dynamic behaviors of these computational algorithms and the large-sample performances of the related statistical procedures, as the number of algorithm iterations and data size both go to infinity, where the gradient flow central limit theorems are governed by some linear ordinary or stochastic differential equations like time-dependent Ornstein-Uhlenbeck processes. We illustrate that our study can provide a novel unified framework for a joint computational and statistical asymptotic analysis, where the computational asymptotic analysis studies dynamic behaviors of these algorithms with the time (or the number of iterations in the algorithms), the statistical asymptotic analysis investigates large sample behaviors of the statistical procedures (like estimators and classifiers) that the algorithms are applied to compute, and in fact the statistical procedures are equal to the limits of the random sequences generated from these iterative algorithms as the number of iterations goes to infinity. The joint analysis results based on the obtained gradient flow central limit theorems can identify four factors - learning rate, batch size, gradient covariance, and Hessian - to derive new theory regarding the local minima found by stochastic gradient descent for solving non-convex optimization problems.

연구 동기 및 목표

• 경사하강법 알고리즘의 동적 행동과 이를 기반으로 유도된 통계적 추정기의 대표본 성능을 동시에 분석할 수 있는 통합된 渐近 프레임워크를 개발하기 위해.
• 대규모 데이터 및 대규모 반복 횟수 조건 하에서, 확률적 및 가속 경사하강법 알고리즘을 연속시간 확률적 미분 방정식(SDE)으로 모델링하기 위해.
• 알고리즘 반복의 수렴 분포가 선형 SDE에 의해 지배되는 정규분포임을 기술하는 경사 흐름 중심극한정리를 수립하기 위해.
• 비볼록 최적화에서 확률적 경사하강법이 도달하는 국소 최소값에 영향을 주는 네 가지 핵심 요소—학습률, 배치 크기, 기울기 공분산, 헤시안—을 규명하고 분석하기 위해.
• 공통의 SDE 기반 극한 이론을 통해 계산적 渐近(알고리즘 수렴)과 통계적 渐 asympt(추정기 분포)을 통합하기 위해.

제안 방법

• 특히 시간에 따라 변화하는 옴스타인-울렌벡 과정을 극한 분포로 사용하여, 경사하강법 알고리즘을 연속시간 미분 방정식 또는 확률적 미분 방정식(SDE)으로 모델링한다.
• 테일러 전개와 확률적 미적분을 적용하여 진짜 매개변수 주변의 반복의 渐상 분포를 유도하며, 알고리즘 동역학과 통계적 추정을 연결한다.
• 시간에 따라 변화하는 알고리즘 상태의 확률밀도를 기술하기 위해 포커-플랑크 방정식을 사용하며, 세부 균형 조건 하에서 정적 분포를 유도한다.
• 정규화된 편차 과정 V(t)의 극한 공분산 행렬 Γ(∞)를 유도하며, 이는 추정기의 渐상 분산을 지배한다.
• 헤시안과 기울기 공분산 행렬의 행동을 극한에서 분석하여, 그 흔적(trace)이 추정기의 渐상 분산을 결정함을 보여준다.
• 알고리즘 반복의 약한 수렴을 확산 과정으로 보장하며, 관련 포커-플랑크 방정식의 수렴과 모멘트 조건을 통해 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 반복 횟수와 데이터 크기가 증가함에 따라, 경사하강법, 확률적 경사하강법, 가속 경사하강법은 어떻게 渐상적으로 행동하는가?
• RQ2 이 알고리즘들이 생성하는 반복의 극한 분포는 무엇이며, 이를 어떻게 확률적 미분 방정식으로 특성화할 수 있는가?
• RQ3 학습률, 배치 크기, 기울기 공분산, 헤시안이 함께 어떻게 작용하여 수렴성과 추정기의 통계적 성질에 영향을 주는가?
• RQ4 최적화 알고리즘의 계산적 동역학과 계산된 추정기의 통계적 성질을 동시에 분석할 수 있는 통합 프레임워크를 개발할 수 있는가?
• RQ5 정규화된 반복의 편차가 정적 정규분포로 수렴하는 조건은 무엇이며, 언제 수렴하지 못하는가?

주요 결과

• 정규화된 편차 과정 $ V^{m}_{ u}(t) $ 는 평균이 0이고 공분산이 $ oldsymbol{ u}(oldsymbol{ heta}) $ 인 정규분포로 분포 수렴한다. 여기서 $ oldsymbol{ u}(oldsymbol{ heta}) $ 는 선형 SDE의 해이다.
• 알고리즘 반복의 극한 분포는 평균이 0이고 분산이 $ oldsymbol{ u}(oldsymbol{ heta}) $ 인 정규분포이며, 포커-플랑크 방정식의 해로부터 유도된다.
• 정규화된 편차 과정 $ V(t) $ 의 정적 분포는 공분산이 $ oldsymbol{ u}(oldsymbol{ heta}) $ 인 정규분포이며, 정적 조건 하에서 $ oldsymbol{ u}(oldsymbol{ heta}) = rac{1}{2} oldsymbol{ u}(oldsymbol{ heta}) oldsymbol{I m H}g(oldsymbol{ heta}) + rac{1}{2} oldsymbol{ u}(oldsymbol{ heta}) oldsymbol{I m H}g(oldsymbol{ heta}) $ 를 만족한다.
• 극한 공분산 행렬 $ oldsymbol{ u}(oldsymbol{ heta}) $ 의 희귀(trace)는 $ ext{tr}[oldsymbol{ u}(oldsymbol{ heta}) oldsymbol{I m H}g(oldsymbol{ heta})] = rac{1}{2} ext{tr}[oldsymbol{ u}(oldsymbol{ heta}) oldsymbol{ u}(oldsymbol{ heta})] $ 를 만족하며, 이는 기울기 공분산과 연결된다.
• 헤시안의 고유값이 음수인鞍점에서는 과정 $ V(t) $ 가 정적 분포로 수렴하지 않으며, 시간이 지남에 따라 공분산이 발산하기 때문이다.
• 추정기의 渐상 분산은 선형 SDE의 해에 의해 지배되며, 극한 공분산 $ oldsymbol{ u}(oldsymbol{ heta}) $ 는 헤시안과 기울기 공분산 행렬에 의해 결정된다.