[논문 리뷰] Distributed Stochastic Gradient Tracking Methods

Shi Pu, Angelia Nedić|arXiv (Cornell University)|2018. 05. 25.

Distributed Control Multi-Agent Systems참고 문헌 55인용 수 13

한 줄 요약

이 논문은 확률적 기울기 하에 분산 다중 에이전트 최적화를 위한 분산 확률적 기울기 추적(DSGT) 및 가소 유사 확률적 기울기 추적(GSGT) 방법을 제안한다. 일정한 스텝사이즈 하에서 DSGT는 반복값이 최적 해의 이웃으로 지수적으로 수렴함을 보장하며, 오차 한계는 네트워크 크기 n에 따라 감소한다 — 이는 중심화된 확률적 기울기 방법의 성능과 일치한다.

ABSTRACT

In this paper, we study the problem of distributed multi-agent optimization over a network, where each agent possesses a local cost function that is smooth and strongly convex. The global objective is to find a common solution that minimizes the average of all cost functions. Assuming agents only have access to unbiased estimates of the gradients of their local cost functions, we consider a distributed stochastic gradient tracking method (DSGT) and a gossip-like stochastic gradient tracking method (GSGT). We show that, in expectation, the iterates generated by each agent are attracted to a neighborhood of the optimal solution, where they accumulate exponentially fast (under a constant stepsize choice). Under DSGT, the limiting (expected) error bounds on the distance of the iterates from the optimal solution decrease with the network size $n$, which is a comparable performance to a centralized stochastic gradient algorithm. Moreover, we show that when the network is well-connected, GSGT incurs lower communication cost than DSGT while maintaining a similar computational cost. Numerical example further demonstrates the effectiveness of the proposed methods.

연구 동기 및 목표

• 일정한 스텝사이즈 하에서 네트워크 크기 n에 따라 감소하는 오차 한계를 확보하지 못하는 기존 분산 확률적 최적화 방법의 격차를 메운다.
• 제한 오차 한계 측면에서 중심화된 확률적 기울기 방법의 성능을 따라잡는 분산 알고리즘을 개발한다.
• 통신 비용을 줄이면서도 유사한 계산 효율성을 유지하는 가소 기반 변형(GSGT)을 설계한다.
• 유한한 분산을 갖는 확률적 기울기 추정치 하에서 최적 해의 이웃으로 수렴함을 보장한다.
• 네트워크 연결성과 스텝사이즈가 수렴 속도와 오차 한계에 미치는 영향을 분석한다.

제안 방법

• 각 에이전트가 추적 변수 y_i를 사용해 평균 기울기의 국소 추정치를 유지하는 분산 확률적 기울기 추적 방법(DSGT)을 도입한다.
• 일정한 스텝사이즈 α와 혼합 행렬 W를 사용하여 네트워크 전반의 정보를 평균화함으로써 최적 해의 이웃으로 지수적으로 수렴함을 보장한다.
• GSGT에서는 가소 기반 통신 프로토콜을 활용하여 각 단계에서 두 에이전트만 통신함으로써 DSGT 대비 통신 비용을 절감한다.
• 리아푸노프 분석과 행렬 농도 부등식을 사용해 오차 한계를 유도하며, 확률적 기울기 노이즈와 네트워크 토폴로지의 영향을 고려한다.
• 국소 확률적 기울기의 평균을 추적하기 위해 보조 변수 y_i를 도입함으로써 글로벌 기울기 평균의 분산 계산을 가능하게 한다.
• 확률적 기울기의 분산에 대한 귀납적 부등식과 경계를 사용해 추적 오차와 반복값의 기대 진화를 분석한다.

실험 결과

연구 질문

• RQ1 일정한 스텝사이즈 하에서 네트워크 크기 n에 따라 감소하는 오차 한계를 갖는 분산 확률적 기울기 방법이 중심화된 성능을 따라할 수 있는가?
• RQ2 통신 프로토콜 선택(전체 확산 대비 가소)이 분산 확률적 최적화에서 수렴 속도와 통신 비용에 어떤 영향을 미치는가?
• RQ3 네트워크 연결성이 분산 확률적 기울기 방법의 수렴 속도와 오차 한계에 어떤 영향을 미치는가?
• RQ4 DSGT의 추적 메커니즘이 확률적 기울기 노이즈가 존재하는 상황에서도 최적 해의 이웃으로 지수적으로 수렴을 보장할 수 있는가?
• RQ5 DSGT와 GSGT의 오차 한계는 에이전트 수와 확률적 기울기의 분산에 따라 어떻게 스케일링되는가?

주요 결과

• 일정한 스텝사이즈 하에서 DSGT는 에이전트 반복값과 최적 해 사이의 기대 거리가 O(σ²/n) 크기의 이웃으로 지수적으로 수렴함을 보장하며, 여기서 σ²는 기울기 노이즈 분산이다.
• DSGT의 제한 오차 한계는 네트워크 크기 n에 반비례하여 스케일링되며, 중심화된 확률적 기울기 방법의 성능과 유사한 성능을 달성한다.
• GSGT는 가소 기반 프로토콜을 사용함으로써 DSGT 대비 통신 비용을 절감하면서도 유사한 계산 복잡도와 수렴 속도를 유지한다.
• 네트워크가 잘 연결되어 있을 경우, GSGT는 수렴 품질을 희생시키지 않고 DSGT보다 낮은 통신 비용을 달성한다.
• 분석 결과, 추적 오차와 최적 해에서의 반복값 이탈은 σ², L(Lipschitz 상수), 그리고 네트워크 혼합 성질을 포함하는 항들로 경계됨을 보여준다.
• 기대 추적 오차는 지수적으로 감소하며, 수렴 속도는 혼합 행렬의 스펙트럼 성질과 스텝사이즈 선택에 따라 달라진다.