[논문 리뷰] Distributed stochastic optimization with gradient tracking over strongly-connected networks

Ran Xin, Anit Kumar Sahu외 2명|arXiv (Cornell University)|2019. 03. 18.

Distributed Control Multi-Agent Systems참고 문헌 33인용 수 13

한 줄 요약

이 논문은 강하게 연결된 방향성 네트워크에서 에이전트들이 국소적이고 미세한, 강하게 볼록인 비용 함수의 합을 최소화하기 위해 확률적 1차 오라클을 사용하는 분산 확률적 최적화 알고리즘인 S-AB를 제안한다. 전역 기울기 추적과 공감을 강제하기 위해 행-스토케스틱 및 열-스토케스틱 가중치 행렬을 동시에 활용함으로써, 이중 스트로케스틱 가중치나 고유벡터 추정이 필요 없이 충분히 작은 일정한 스텝 사이즈 하에서 기대값 기반 선형 수렴을 달성한다.

ABSTRACT

In this paper, we study distributed stochastic optimization to minimize a sum of smooth and strongly-convex local cost functions over a network of agents, communicating over a strongly-connected graph. Assuming that each agent has access to a stochastic first-order oracle ($\mathcal{SFO}$), we propose a novel distributed method, called $\mathcal{S}$-$\mathcal{AB}$, where each agent uses an auxiliary variable to asymptotically track the gradient of the global cost in expectation. The $\mathcal{S}$-$\mathcal{AB}$ algorithm employs row- and column-stochastic weights simultaneously to ensure both consensus and optimality. Since doubly-stochastic weights are not used, $\mathcal{S}$-$\mathcal{AB}$ is applicable to arbitrary strongly-connected graphs. We show that under a sufficiently small constant step-size, $\mathcal{S}$-$\mathcal{AB}$ converges linearly (in expected mean-square sense) to a neighborhood of the global minimizer. We present numerical simulations based on real-world data sets to illustrate the theoretical results.

연구 동기 및 목표

• 임의의 강하게 연결된 방향성 그래프에서 작동하는 분산 확률적 최적화 방법을 개발함으로써, 이중 스트로케스틱 가중치가 필요 없도록 하는 것.
• 국소 비용 함수가 미세하고 강하게 볼凸이며, 에이전트들이 확률적 1차 오라클에만 접근할 수 있을 때, 전역 최소화점의 이웃으로 선형 수렴을 달성하는 것.
• 이전의 방향성 그래프 기반 기울기 추적 방법에서 수렴 속도를 저하시킬 수 있는 별도의 고유벡터 추정 단계가 필요 없도록 하는 것.
• 행-스토케스틱 및 열-스토케스틱 가중치 행렬의 왼쪽 및 오른쪽 고유벡터를 사용하여 비-2-노름에서의 수축을 특성화함으로써 날카운 명시적 수렴 경계를 제공하는 것.
• 실제 MNIST 데이터셋을 사용한 로지스틱 회귀 설정에서 이론적 결과를 검증하는 것.

제안 방법

• S-AB는 이중 단계 업데이트를 사용한다: 에이전트들은 행-스토케스틱 가중치 행렬을 사용하여 자신의 해 추정치와 이웃의 해 추정치의 가중 평균을 수행한다.
• 동시에, 에이전트들은 열-스토케스틱 가중치 행렬을 사용하여 전역 기울기를 기대값 기반으로 추정하는 보조 기울기 추적 변수를 유지하고 업데이트한다.
• 각 에이전트는 자신의 국소 확률적 기울기 추정치와 이웃들의 기울기 추정치의 가중 평균을 조합하여 전역 기울기 추적기를 업데이트한다.
• 이 알고리즘은 이중 스트로케스틱 가중치가 필요 없기 때문에 임의의 강하게 연결된 방향성 그래프에 적용 가능하다.
• 수렴 분석은 라플라스 함수를 구성하고, 행-스토케스틱 및 열-스토케스틱 행렬의 스펙트럼 성질을 사용하여 스텝 사이즈 조건을 도출한다.
• 행렬의 스펙트럼 반경 및 고유벡터를 기반으로 스텝 사이즈에 대한 명시적 상한을 유도하여 기대 평균 제곱 수렴 기반으로 선형 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 임의의 강하게 연결된 방향성 그래프에서 이중 스트로케스틱 가중치가 필요 없이 선형 수렴을 달성할 수 있는 분산 확률적 최적화 알고리즘이 존재하는가?
• RQ2 어떻게 기울기 추적을 방향성 네트워크에서 확률적 1차 오라클과 효과적으로 조합하여 공감과 최적성 보장을 달성할 수 있는가?
• RQ3 전역 최소화점의 이웃으로 선형 수렴을 보장하기 위한 스텝 사이즈 및 네트워크 토폴로지에 대한 명시적 조건은 무엇인가?
• RQ4 행-스토케스틱 및 열-스토케스틱 행렬이 대칭이 아닐 경우에도 2-노름 수축에 의존하지 않고 분석을 정교화하여 날카운 수렴 경계를 제공할 수 있는가?
• RQ5 실제 데이터에서 제안된 S-AB 알고리즘이 비확률적 및 중심화된 확률적 기준 모델에 비해 실용적으로 어떻게 성능을 내는가?

주요 결과

• S-AB는 충분히 작은 일정한 스텝 사이즈 하에서 이중 스트로케스틱 가중치 없이도 전역 최소화점의 이웃으로 예상 평균 제곱 수렴 기반 선형 수렴을 달성한다.
• 스텝 사이즈 상한은 스펙트럼 성질을 기반으로 명시적으로 유도되었으며, α < (1−σ²_A)(πᵀ_r π_c) / (lκ∥π_r∥₂∥π_c∥₂) × √( (1−σ²_B) / (384hrhc(64 + n∥π_c∥²₂)) ) 로 표현된다.
• 그래프가 강하게 연결되어 있고 가중치 행렬이 원시적일 경우, 네트워크가 방향성이고 통신이 비대칭일지라도 알고리즘이 선형으로 수렴한다.
• MNIST 데이터에서의 수치 실험 결과, S-AB는 비확률적 AB 방법을 능가하고 특히 테스트 정확도 및 잔차 감소 측면에서 중심화된 확률적 기울기 하강법(C-SGD)의 성능에 가까이 접근한다.
• 수렴 결과의 오차 경계는 스텝 사이즈가 감소하고 기울기 노이즈의 분산이 감소함에 따라 사라지며, 노이즈 및 스텝 사이즈 선택에 대한 강건성을 확인한다.
• 2-노름 수축에 의존하지 않아 왼쪽 및 오른쪽 고유벡터를 기반으로 한 노름을 사용함으로써 더 날카운 수렴 경계를 제공하는 분석을 수행한다.