[논문 리뷰] DSA: Decentralized Double Stochastic Averaging Gradient Algorithm

Aryan Mokhtari, Alejandro Ribeiro|arXiv (Cornell University)|2015. 06. 13.

Stochastic Gradient Optimization Techniques참고 문헌 33인용 수 146

한 줄 요약

이 논문은 이중 스토하스틱 평균 기울기와 연속된 스토하스틱 기울기 간의 차이를 기반으로 한 내림걸음 단계를 활용하여 강凸성과 미끄러움 조건을 만족하는 목적 함수에서 기대값 기준 선형 수렴을 달성하는 탈중앙화된 확률적 최적화 알고리즘 DSA를 제안한다. 기존의 탈중앙화된 확률적 방법들이 하위선형 수렴률을 보이는 데 반해, DSA는 분산 감소와 이웃 간 통신에 국한된 국소 계산을 통해 빠른 수렴을 보장한다.

ABSTRACT

This paper considers convex optimization problems where nodes of a network have access to summands of a global objective. Each of these local objectives is further assumed to be an average of a finite set of functions. The motivation for this setup is to solve large scale machine learning problems where elements of the training set are distributed to multiple computational elements. The decentralized double stochastic averaging gradient (DSA) algorithm is proposed as a solution alternative that relies on: (i) The use of local stochastic averaging gradients. (ii) Determination of descent steps as differences of consecutive stochastic averaging gradients. Strong convexity of local functions and Lipschitz continuity of local gradients is shown to guarantee linear convergence of the sequence generated by DSA in expectation. Local iterates are further shown to approach the optimal argument for almost all realizations. The expected linear convergence of DSA is in contrast to the sublinear rate characteristic of existing methods for decentralized stochastic optimization. Numerical experiments on a logistic regression problem illustrate reductions in convergence time and number of feature vectors processed until convergence relative to these other alternatives.

연구 동기 및 목표

• 기존의 탈중앙화된 확률적 최적화 방법들이 일반적으로 하위선형 수렴률을 보이는 데 비해 선형 수렴이 부족한 문제를 해결하기 위해.
• 각 반복에서 낮은 계산 비용을 유지하면서도 하위선형 방법보다 더 빠른 수렴을 달성하는 탈중앙화 알고리즘을 개발하기 위해.
• 각 에이전트가 샘플의 부분집합을 처리하는 네트워크에 훈련 데이터를 분산 배포하여 효율적인 대규모 머신러닝을 가능하게 하기 위해.
• 강凸성과 리프시츠 기울기 조건 하에서 기대값 기준 선형 수렴을 달성하여 스토하스틱 방법에서 발생하는 분산으로 인한 느린 수렴을 극복하기 위해.

제안 방법

• DSA는 국소 스토하스틱 평균 기울기를 사용하며, 각 노드가 반복마다 자신의 국소 함수 중 하나를 샘플링하고 최근 스토하스틱 기울기의 누적 평균을 유지한다.
• 내림걸음 단계는 연속된 스토하스틱 기울기 평균 간의 차이로 계산되며, 이는 분산 감소와 향상된 수렴을 가능하게 한다.
• EXTRA 알고리즘을 사다리꼴 최적화 방법으로 재구성하고, 결정론적 기울기를 스토하스틱 근사치로 대체하여 각 반복 비용을 줄인다.
• 노드가 인접한 이웃과만 통신하는 탈중앙화된 네트워크에서 작동하여 확장성과 프라이버시를 보장한다.
• 리아프노프 함수를 활용한 슈퍼마틴갈 래시피 분석을 통해 원래 변수와 이중 변수를 조합한 함수를 사용하며, 적절히 선택된 단계 크기와 관성 파rameter를 사용한다.
• 강凸성과 리프시츠 기울기 가정 하에서 기대값 기준 선형 수렴이 증명되었으며, 단계 크기, 관성, 분산 감소 파rameter에 대한 명시적인 조건이 제시된다.

실험 결과

연구 질문

• RQ1 탈중앙화된 확률적 최적화 알고리즘이 최적의 방법에 맞먹는 기대값 기준 선형 수렴을 달성할 수 있는가?
• RQ2 전역 기울기 평가가 필요 없이 탈중앙화 환경에서 스토하스틱 기울기의 분산을 어떻게 줄일 수 있는가?
• RQ3 단계 크기, 관성, 분산 감소 파rameter에 대한 어떤 조건이 기대값 기준 선형 수렴을 보장하는가?
• RQ4 EXTRA 알고리즘의 선형 수렴 특성을 이중 기울기 평균화를 사용하는 스토하스틱, 탈중앙화 환경에 적응시킬 수 있는가?

주요 결과

• DSA는 강凸성과 미끄러움 조건을 만족하는 목적 함수에서 기대값 기준 선형 수렴을 달성하며, 최적해와의 기대 거리가 각 반복에서 기하급수적으로 감소한다.
• 스토하스틱 근사 오차가 존재하는 상황에서도 국소 반복값이 거의 확실하게 최적해로 수렴함을 보장한다.
• 로지스틱 회귀에서의 수치 실험 결과, 기존의 탈중앙화된 확률적 방법보다 DSA가 수렴 시간과 처리한 특징 벡터의 수를 줄였다.
• DSA의 수렴 속도는 선형적이다 (즉, ρ < 1 인 O(ρ^t)이며, 표준 탈중앙화된 스토하스틱 기울기 방법의 하위선형 O(1/t) 수렴 속도와 대비된다.
• 이론적 분석을 통해 선형 수렴을 보장하기 위한 단계 크기 η, 관성 α, 분산 감소 파ram터 c에 대한 명시적인 조건을 확립하였다.
• 각 반복에서 노드당 한 번의 국소 함수 평가만을 사용하여 낮은 반복 계산 비용을 유지하면서도 빠른 수렴을 달성한다.