[논문 리뷰] Distributed Stochastic Gradient Descent: Nonconvexity, Nonsmoothness, and Convergence to Local Minima

Brian R. Swenson, Ryan Murray외 2명|arXiv (Cornell University)|2020. 03. 05.

Stochastic Gradient Optimization Techniques인용 수 16

한 줄 요약

이 논문은 비볼록, 비연속 최적화 환경에서 분산 확률적 경사하강법(D-SGD)의 이론적 수렴 보장을 수립한다. D-SGD를 연속시간 분산 경사 하강 흐름으로 모델링하고, 안정 다변량 이론을 비자율 시스템으로 확장함으로써, 미세한 연속성 조건 하에 D-SGD가 거의 확실하게 임계점을 향해 수렴하고, 안정 다변량 이론을 통해 안정 다변량 이론을 비자율 시스템으로 확장함으로써, 거의 확실하게 안장점에서 멀어짐을 증명한다. 이는 중심화된 SGD의 행동을 그대로 반영한다.

ABSTRACT

In centralized settings, it is well known that stochastic gradient descent (SGD) avoids saddle points and converges to local minima in nonconvex problems. However, similar guarantees are lacking for distributed first-order algorithms. The paper studies distributed stochastic gradient descent (D-SGD)--a simple network-based implementation of SGD. Conditions under which D-SGD avoids saddle points and converges to local minima are studied. First, we consider the problem of computing critical points. Assuming loss functions are nonconvex and possibly nonsmooth, it is shown that, for each fixed initialization, D-SGD converges to critical points of the loss with probability one. Next, we consider the problem of avoiding saddle points. In this case, we again assume that loss functions may be nonconvex and nonsmooth, but are smooth in a neighborhood of a saddle point. It is shown that, for any fixed initialization, D-SGD avoids such saddle points with probability one. Results are proved by studying the underlying (distributed) gradient flow, using the ordinary differential equation (ODE) method of stochastic approximation, and extending classical techniques from dynamical systems theory such as stable manifolds. Results are proved in the general context of subspace-constrained optimization, of which D-SGD is a special case.

연구 동기 및 목표

• D-SGD의 임계점 수렴 및 안장점 피하기를 보장함으로써 분산 제1차 최적화의 이론적 격차를 메우기 위해.
• 분산 최적화에서 발생하는 비자율적, 비전통적 시스템에 고전적 확률적 근사 및 동역학 시스템 기법을 확장하기 위해.
• 신경망의 비연속 활성화 함수에서 유도되는 일반적인 비볼록 및 가능성이 비연속인 손실 함수 하에서 D-SGD를 분석하기 위해.
• 전역 손실이 비연속일지라도, 안장점 주변에서 연속성이 유지될 경우 D-SGD가 안장점을 피할 수 있는 엄밀한 조건을 제공하기 위해.
• 특히 부분공간 제약 최적화에 대해 기존의 중심화된 결과를 분산 환경으로 일반화하기 위해.

제안 방법

• 확률적 근사의 일반 미분방정식(ODE) 방법을 사용하여 D-SGD를 연속시간 분산 경사 하강 흐름(DGF)으로 모델링한다.
• 비자율 동역학 시스템에 대해 안정 다변량 이론을 적용하여 안장점으로의 수렴 방지를 분석한다.
• 안장점 주변에서 선형화 방법을 사용하고, 시간에 따라 변하는 동역학 하에서 헤시안의 고유값 수렴을 연구한다.
• 최적화 문제의 부분공간 제약을 다루기 위해 이차 페널티 공식을 도입한다.
• 개별 에이전트 함수의 국소 리프시츠 연속성과 비볼록성 조건 하에서 임계점으로의 수렴을 확립한다.
• 안정 다변량 위의 측도론적 추론을 사용하여 임계점으로의 거의 확실한 수렴과 정규 안장점으로의 거의 확실한 피하기를 증명한다.

실험 결과

연구 질문

• RQ1 손실 함수가 비볼록이고 가능성이 비연속일 경우, 분산 확률적 경사하강법이 어떤 조건에서 임계점으로 수렴하는가?
• RQ2 전역 손실이 비연속이더라도, 안장점 주변에서 연속성이 확보될 경우 D-SGD는 비볼록 최적화에서 안장점을 피할 수 있는가?
• RQ3 어떻게 고전적 안정 다변량 이론을 분산 경사 하강 흐름에서 발생하는 비자율 시스템으로 확장할 수 있는가?
• RQ4 네트워크 기반 환경에서 D-SGD가 국소 최솟값으로 수렴하고 안장점으로 수렴하지 않기 위한 필수 및 충분 조건은 무엇인가?
• RQ5 중앙집중적 SGD의 이론적 보장 조건들이 얼마나 넓은 범위로 분산형, 네트워크 기반 제1차 알고리즘으로 일반화될 수 있는가?

주요 결과

• 비볼록이고 국소 리프시츠 연속인 손실 함수에 대해, D-SGD는 전역 목표 함수의 임계점으로 거의 확실하게 수렴한다.
• 안장점 주변에서 손실 함수가 연속이고 안장점이 정규일 경우, D-SGD는 거의 확실하게 이러한 안장점을 피한다.
• 개별 에이전트 함수가 비연속일지라도 수렴 결과가 유지되며, 이는 이전 결과가 볼록성 또는 차분-볼록 정규화를 요구했던 것을 넘어서는 확장이다.
• 비자율 시스템에 안정 다변량 이론을 새로운 방식으로 적용함으로써 안장점 피하기가 입증되었으며, 이는 고전적 결과로는 다루어지지 않는 분야이다.
• 분석은 D-SGD를 연속시간 분산 경사 하강 흐름으로 근사화하는 데 기반하며, 안장점 주변 이웃 영역에서의 탈출 확률에 대한 측도론적 추론을 통해 수렴이 증명된다.
• 결과는 일반적인 부분공간 제약 최적화 프레임워크에서 유효하므로, 페더레이티드 러닝 및 분산 경험 리스크 최소화와 같은 다양한 분산 학습 문제에 적용 가능하다.