[논문 리뷰] Robust Distributed Accelerated Stochastic Gradient Methods for Multi-Agent Networks

Alireza Fallah, Mert Gürbüzbalaban외 3명|arXiv (Cornell University)|2019. 10. 19.

Distributed Control Multi-Agent Systems참고 문헌 86인용 수 24

한 줄 요약

이 논문은 노이즈가 있는 기울기와 통신 제약 조건 하에서 분산 강력 볼록 확률 최적화 문제를 해결하기 위해 다중 에이전트 네트워크에서 사용할 수 있는 강건한 분산 가속 확률적 기울기(다중-ASG) 방법을 제안한다. 이는 기울기 및 통신 복잡도에 대해 최적의 수렴 속도 $\mathcal{O}(\sqrt{\kappa}\log(1/\varepsilon))$를 확립하고, 가속된 편향 감소 $\mathcal{O}(-k/\sqrt{\kappa})$를 달성하며, 최적의 분산 $\mathcal{O}(\sigma^2/k)$를 확보하는 다단계 변형을 통해 정확한 수렴을 보장한다.

ABSTRACT

We study distributed stochastic gradient (D-SG) method and its accelerated variant (D-ASG) for solving decentralized strongly convex stochastic optimization problems where the objective function is distributed over several computational units, lying on a fixed but arbitrary connected communication graph, subject to local communication constraints where noisy estimates of the gradients are available. We develop a framework which allows to choose the stepsize and the momentum parameters of these algorithms in a way to optimize performance by systematically trading off the bias, variance, robustness to gradient noise and dependence to network effects. When gradients do not contain noise, we also prove that distributed accelerated methods can \emph{achieve acceleration}, requiring $\mathcal{O}(κ\log(1/\varepsilon))$ gradient evaluations and $\mathcal{O}(κ\log(1/\varepsilon))$ communications to converge to the same fixed point with the non-accelerated variant where $κ$ is the condition number and $\varepsilon$ is the target accuracy. To our knowledge, this is the first acceleration result where the iteration complexity scales with the square root of the condition number in the context of \emph{primal} distributed inexact first-order methods. For quadratic functions, we also provide finer performance bounds that are tight with respect to bias and variance terms. Finally, we study a multistage version of D-ASG with parameters carefully varied over stages to ensure exact $\mathcal{O}(-k/\sqrtκ)$ linear decay in the bias term as well as optimal $\mathcal{O}(σ^2/k)$ in the variance term. We illustrate through numerical experiments that our approach results in practical algorithms that are robust to gradient noise and that can outperform existing methods.

연구 동기 및 목표

• 노이즈 기울기가 존재하는 다중 에이전트 시스템에서 편향, 분산, 네트워크 영향을 균형 잡는 분산 최적화 프레임워크를 개발하기.
• 강력 볼록성과 유한한 기울기 노이즈 조건 하에서 분산 확률적 기울기 방법의 수렴 속도를 가속화하기.
• 노이즈와 네트워크 제약 조건에도 불구하고 최적 해로의 정확한 수렴을 보장하는 다단계 다중-ASG 변형을 설계하기.
• 편향 및 분산 항을 명시적으로 기술하는 이차 목표 함수에 대해 날카운 성능 경계를 제공하기.
• 기존 결과를 일반화하여 임의의 연결된 네트워크 구조와 온건한 가정 하에 무한 분산에 대한 강건성을 허용하기.

제안 방법

• 고정된 연결된 네트워크 그래프 상에서 운동량과 공통 합의 단계를 융합한 새로운 다중-ASG 알고리즘을 도입하며, 적응적 스텝 사이즈 및 운동량 파라미터 선택을 수행한다.
• 수렴 분석을 위해 행렬의 구조와 미세한 성질을 활용하는 리아푸노프 함수 $V_{\bar{Q},\alpha}$ 를 유도한다.
• 매개변수(스텝 사이즈, 운동량)를 단계별로 점진적으로 조정하여 정확한 수렴을 보장하는 다단계 프레임워크를 적용한다.
• 비편향이며 유한 분산을 갖는 기울기 추정치를 만족하는 펄스터드 기울기 모델을 적용하여 노이즈에 대한 강건성을 확보한다.
• 편향과 분산 동역학을 분리하기 위해 변환된 변수 $\xi^{(k)}$ 를 사용하는 이중 평균형 분석 기법을 활용한다.
• 네트워크 영향, 조건 수 $\kappa$, 노이즈 수준 $\sigma^2$ 를 포함하는 재귀 부등식을 통해 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 분산 확률적 기울기 방법은 노이즈 기울기가 존재하는 분산 다중 에이전트 네트워크에서 수렴 속도를 가속화할 수 있는가?
• RQ2 스텝 사이즈 및 운동량 파라미터는 어떻게 조정되어야 편향, 분산, 네트워크 유도 효과를 최적으로 균형 잡을 수 있는가?
• RQ3 강력 볼록성과 유한 기울기 노이즈 조건 하에서 분산 확률 최적화의 최적 수렴 속도는 무엇인가?
• RQ4 다중-ASG의 다단계 변형은 가속된 편향 감소와 최적의 분산 감소를 유지하면서도 정확한 수렴을 보장할 수 있는가?
• RQ5 네트워크 구조와 통신 제약 조건은 가속된 분산 방법의 수렴 행동에 어떻게 영향을 미치는가?

주요 결과

• 다중-ASG는 $\mathcal{O}(\sqrt{\kappa}\log(1/\varepsilon))$의 기울기 및 통신 복잡도를 달성하여 $\varepsilon$-정확도에 도달하며, 이는 이론적 가속 경계와 일치한다.
• 이차 목표 함수의 경우, 편향 및 분산 항에 대해 날카운 경계를 제공하며, 편향은 $\mathcal{O}(-k/\sqrt{\kappa})$로 감소하고 분산은 $\mathcal{O}(\sigma^2/k)$로 감소한다.
• 다단계 다중-ASG 변형은 가속된 편향 감소와 최적의 분산 감소를 유지하면서 최적 해로의 정확한 수렴을 보장한다.
• 기울기가 노이즈가 없는 경우, 다중-ASG는 가속을 달성하며, 중심화된 가속 방법의 하한 복잡도와 일치한다.
• 이 프레임워크는 기울기 노이즈에 강건하며, 부록 E의 이론적 확장에 의해 온건한 가정 하에 무한 분산으로도 일반화 가능하다.
• 수치 실험을 통해 제안된 방법이 노이즈 기울기가 존재하는 실용적 환경에서 기존 분산 방법보다 뛰어난 성능을 보임을 확인하였다.