[논문 리뷰] Distributed Stochastic Gradient Descent and Convergence to Local Minima

Brian Swenson, Ryan Murray외 2명|arXiv (Cornell University)|2020. 03. 05.

Stochastic Gradient Optimization Techniques참고 문헌 36인용 수 10

한 줄 요약

이 논문은 비볼록 최적화에서 분산 확률적 경사하강법(D-SGD)의 수렴 보장을 수립하며, 거의 확실히 임계점으로 수렴하고 비퇴화된 안장점들을 피하는 것으로 보여준다. 저자들은 ODE 기반의 확률적 근사법을 사용하여 D-SGD의 연속시간 버전을 분석함으로써 이산시간 알고리즘에 적용 가능한 간소화된 증명과 통찰을 도출한다.

ABSTRACT

In centralized settings, it is well known that stochastic gradient descent (SGD) avoids saddle points. However, similar guarantees are lacking for distributed first-order algorithms in nonconvex optimization.The paper studies distributed stochastic gradient descent (D-SGD)--a simple network-based implementation of SGD. Conditions under which D-SGD converges to local minima are studied. In particular, it is shown that, for each fixed initialization, with probability 1 we have that: (i) D-SGD converges to critical points of the objective and (ii) D-SGD avoids nondegenerate saddle points. To prove these results, we use ODE-based stochastic approximation techniques. The algorithm is approximated using a continuous-time ODE which is easier to study than the (discrete-time) algorithm. Results are first derived for the continuous-time process and then extended to the discrete-time algorithm. Consequently, the paper studies continuous-time distributed gradient descent (DGD) alongside D-SGD. Because the continuous-time process is easier to study, this approach allows for simplified proof techniques and builds important intuition that is obfuscated when studying the discrete-time process alone.

연구 동기 및 목표

• 비볼록 최적화에서 분산 1차 방법의 이론적 이해 격차를 메우기 위해, 局부 최소점으로의 수렴이 보장되지 않는 상황을 다루는 것.
• 분산 확률적 경사하강법(D-SGD)이 목적 함수의 임계점으로 거의 확실히 수렴함을 수립하는 것.
• 고정된 초기화 하에서 D-SGD가 비퇴화된 안장점들을 피함을 증명하여, 기존의 중심화된 SGD의 성질을 분산 환경으로 확장하는 것.
• 연속시간 ODE 근사를 통해 분석을 단순화하고 D-SGD의 행동에 대한 직관적인 통찰을 제공하는 것.
• 연속시간 분산 경사하강법(DGD)에서 유도된 이론적 결과를 이산시간 D-SGD 알고리즘으로 확장하는 것.

제안 방법

• 논문은 D-SGD의 역학을 연속시간 확률과정으로 모델링하기 위해 ODE 기반의 확률적 근사 기법을 사용한다.
• 이산시간 D-SGD 알고리즘은 분석적으로 더 취급하기 쉬운 연속시간 상미분방정식(ODE)으로 근사된다.
• 임계점으로의 수렴과 비퇴화된 안장점 피하기는 먼저 연속시간 ODE 과정에 대해 증명된다.
• 이러한 결과들은 점점 가까워지는 성질과 안정성 논증을 통해 이산시간 D-SGD 알고리즘으로 확장된다.
• 분석은 확률적 근사 이론과 동역학계 이론의 도구를 활용하여 거의 확실한 수렴 성질을 연구한다.
• 이 방법은 고정된 초기화를 전제로 하며, 경로 기반 분석을 통해 거의 확실한 수렴 결과를 수립한다.

실험 결과

연구 질문

• RQ1 비볼록 최적화에서 분산 확률적 경사하강법(D-SGD)이 목적 함수의 임계점으로 수렴하는가?
• RQ2 고정된 초기화 하에서 D-SGD는 중심화된 SGD와 유사하게 비퇴화된 안장점들을 피할 수 있는가?
• RQ3 연속시간 ODE 근사는 이산시간 분산 최적화 알고리즘의 분석을 어떻게 단순화할 수 있는가?
• RQ4 연속시간 분산 경사하강법(DGD)에서 유도된 이론적 보증은 이산시간 D-SGD로 어떻게 전이될 수 있는가?
• RQ5 ODE 기반 방법은 분산 비볼록 최적화에서 수렴성에 대한 더 명확한 통찰과 더 단순한 증명을 제공할 수 있는가?

주요 결과

• 각 고정된 초기화에 대해 D-SGD는 목적 함수의 임계점으로 거의 확실히 수렴한다.
• D-SGD는 거의 확실히 비퇴화된 안장점들을 피하며, 중심화된 SGD의 알려진 성질을 분산 환경으로 확장한다.
• D-SGD의 연속시간 ODE 근사는 수렴 행동의 분석을 간소화하고 더 직관적으로 만들 수 있다.
• 연속시간 과정에 대해 도출된 이론적 결과는 엄밀하게 이산시간 D-SGD 알고리즘으로 확장된다.
• ODE 기반의 확률적 근사는 비볼록 환경에서 분산 1차 방법을 분석하는 데 강력한 프레임워크를 제공한다.
• 이 접근법은 D-SGD의 수렴 역학이 분산 계산의 성격에도 불구하고 중심화된 SGD와 본질적으로 유사하다는 것을 드러낸다.