[논문 리뷰] Communication-Efficient Distributed Strongly Convex Stochastic Optimization: Non-Asymptotic Rates

Anit Kumar Sahu, Dušan Jakovetić외 2명|arXiv (Cornell University)|2018. 09. 09.

Distributed Control Multi-Agent Systems참고 문헌 27인용 수 15

한 줄 요약

이 논문은 강력한 볼록 문제에 대해 제로계수 및 일阶 최적화 문제에 대해 통신 효율적인 분산 확률적 최적화 방법을 제안한다. 확률적이고 점점 더 희박해지는 통신 프로토콜을 사용하며, 일阶 방법의 경우 $O(1/(C_{\text{comm}})^{4/3-\zeta})$이고 제로계수 방법의 경우 $O(1/(C_{\text{comm}})^{8/9-\zeta})$의 비점근 수렴 속도를 달성한다. 계산 비용에 대해 순서 최적의 수렴 속도를 확보하며, 이는 이전 작업 대비 통신 효율성이 크게 향상된다.

ABSTRACT

We examine fundamental tradeoffs in iterative distributed zeroth and first order stochastic optimization in multi-agent networks in terms of \emph{communication cost} (number of per-node transmissions) and \emph{computational cost}, measured by the number of per-node noisy function (respectively, gradient) evaluations with zeroth order (respectively, first order) methods. Specifically, we develop novel distributed stochastic optimization methods for zeroth and first order strongly convex optimization by utilizing a probabilistic inter-agent communication protocol that increasingly sparsifies communications among agents as time progresses. Under standard assumptions on the cost functions and the noise statistics, we establish with the proposed method the $O(1/(C_{\mathrm{comm}})^{4/3-ζ})$ and $O(1/(C_{\mathrm{comm}})^{8/9-ζ})$ mean square error convergence rates, for the first and zeroth order optimization, respectively, where $C_{\mathrm{comm}}$ is the expected number of network communications and $ζ>0$ is arbitrarily small. The methods are shown to achieve order-optimal convergence rates in terms of computational cost~$C_{\mathrm{comp}}$, $O(1/C_{\mathrm{comp}})$ (first order optimization) and $O(1/(C_{\mathrm{comp}})^{2/3})$ (zeroth order optimization), while achieving the order-optimal convergence rates in terms of iterations. Experiments on real-life datasets illustrate the efficacy of the proposed algorithms.

연구 동기 및 목표

• 대규모 데이터를 가진 다중 에이전트 네트워크에서 분산 확률적 최적화의 통신 병목 현상을 해결하기 위해.
• 각 노드의 전송 횟수를 줄이면서도 통신 및 계산 비용에서 최적의 수렴 속도를 유지하는 방법을 개발하기 위해.
• 기본적인 매끄럽기 및 노이즈 가정 하에 제로계수 및 일阶 분산 확률적 최적화에 대해 비점근적, 순서 최적의 수렴 속도를 확립하기 위해.
• 분산 환경에서 통신 비용 $C_{\text{comm}}$와 계산 비용 $C_{\text{comp}}$ 간의 상호 교환 관계를 분석하기 위해.
• 실생활 데이터셋을 통한 실험적 검증을 통해 제안된 방법의 유효성을 입증하기 위해.

제안 방법

• 시간이 지남에 따라 점점 더 희박해지는 전송을 줄이는 확률적 에이전트 간 통신 프로토콜을 도입한다.
• 로컬 SFO 오라클에서의 확률적 경사도 조회와 공감 업데이트를 결합한 새로운 일阶 분산 확률적 최적화 방법을 설계한다.
• 유사한 공감 및 혁신 통합 방식을 사용하는, 로컬 SZO 오라클에서의 확률적 함수 값 조회를 활용하는 제로계수 방법을 개발한다.
• 반복적 업데이트 과정에서 수렴성과 안정성을 균형 잡기 위해 감소하는 스텝 사이즈 규칙 $\alpha_k \propto 1/k$를 적용한다.
• 고정된 통신 그래프를 가진 네트워크에서 가중 평균 공감 메커니즘을 사용하며, 에이전트는 국지적 추정치와 이웃 정보에 기반해 업데이트한다.
• 통신 행렬의 스펙트럼 성질을 활용하여, 평균 반복의 기대 제곱 오차를 최적 해에서 bound하는 방식으로 수렴성을 분석한다.

실험 결과

연구 질문

• RQ1 강력한 볼록 문제에 대해 분산 확률적 최적화 방법이 통신 비용과 계산 비용 양쪽에서 순서 최적의 수렴 속도를 달성할 수 있는가?
• RQ2 점점 더 희박해지는 통신 프로토콜을 사용할 경우, 분산 제로계수 및 일阶 최적화에서 평균 제곱 오차 수렴 속도에 어떤 영향을 미치는가?
• RQ3 실제 노이즈 및 매끄러움 가정 하에 분산 확률적 최적화에서 통신 비용과 계산 비용 간의 상호 교환 관계는 어떠한가?
• RQ4 기존 방법에 비해 통신 효율성을 크게 향상시키면서도 제안된 방법이 최적의 계산 비용 속도를 유지할 수 있는가?
• RQ5 목적 함수의 매끄러움 정도가 제로계수 분산 최적화에서 달성 가능한 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 제안된 일阶 방법은 통신 비용 $C_{\text{comm}}$에 대해 평균 제곱 오차(MSE) 수렴 속도가 $O(1/(C_{\text{comm}})^{4/3-\zeta})$이며, $\zeta > 0$은 임의로 작은 값이다.
• 제로계수 방법은 MSE 수렴 속도가 $O(1/(C_{\text{comm}})^{8/9-\zeta})$이며, 이는 통신 효율성이 향상된 첫 번째 비점근적 수렴 속도이다.
• 두 방법 모두 순서 최적의 계산 비용 속도를 달성한다: 일阶 방법은 $O(1/C_{\text{comp}})$, 제로계수 방법은 $O(1/(C_{\text{comp}})^{2/3})$이며, 최고의 중심 집중형 수렴 속도와 일치한다.
• 수렴 속도는 강력한 볼록성, 유한한 경사도 분산, 목적 함수의 이阶 매끄러움이라는 표준 가정 하에 유도되었다.
• 실생활 데이터셋에 대한 수치 실험은 제안된 알고리즘의 통신 효율성을 확인하며, 더 적은 전송 횟수로 더 빠른 수렴을 보여준다.
• 분석 결과, 제로계수 방법의 더 느린 통신 속도는 일阶 방법에서 존재하지 않는 경사도 추정의 피할 수 없는 편향 때문임을 밝혔다.