[논문 리뷰] Distributed Optimization Based on Gradient-tracking Revisited: Enhancing Convergence Rate via Surrogation

Ying Sun, Amir Daneshmand외 1명|arXiv (Cornell University)|2019. 05. 07.

Distributed Control Multi-Agent Systems인용 수 4

한 줄 요약

이 논문은 다중 에이전트 시스템에서 표준 1차 방법 대신 고차수 서구 함수를 사용함으로써 수렴 속도를 향상시키는 새로운 분산 최적화 알고리즘인 Surrogate-SONATA를 제안한다. 기울기 추적과 교란이 있는 푸시-합 공유 기반의 네트워크에서, 에이전트의 국소 손실 간의 통계적 유사성을 활용함으로써 조건 수와 네트워크 연결성에 대한 의존도가 향상된 선형 수렴을 달성하며, 헤시안 행렬 교환 없이도 기존 방법들을 능가한다.

ABSTRACT

We study distributed multiagent optimization over (directed, time-varying) graphs. We consider the minimization of $F+G$ subject to convex constraints, where $F$ is the smooth strongly convex sum of the agent's losses and $G$ is a nonsmooth convex function. We build on the SONATA algorithm: the algorithm employs the use of surrogate objective functions in the agents' subproblems (going thus beyond linearization, such as proximal-gradient) coupled with a perturbed (push-sum) consensus mechanism that aims to track locally the gradient of $F$. SONATA achieves precision $ε>0$ on the objective value in $\mathcal{O}(κ_g \log(1/ε))$ gradient computations at each node and $ ilde{\mathcal{O}}\big(κ_g (1-ρ)^{-1/2} \log(1/ε)\big)$ communication steps, where $κ_g$ is the condition number of $F$ and $ρ$ characterizes the connectivity of the network. This is the first linear rate result for distributed composite optimization; it also improves on existing (non-accelerated) schemes just minimizing $F$, whose rate depends on much larger quantities than $κ_g$ (e.g., the worst-case condition number among the agents). When considering in particular empirical risk minimization problems with statistically similar data across the agents, SONATA employing high-order surrogates achieves precision $ε>0$ in $\mathcal{O}\big((β/μ) \log(1/ε)\big)$ iterations and $ ilde{\mathcal{O}}\big((β/μ) (1-ρ)^{-1/2} \log(1/ε)\big)$ communication steps, where $β$ measures the degree of similarity of the agents' losses and $μ$ is the strong convexity constant of $F$. Therefore, when $β/μ< κ_g$, the use of high-order surrogates yields provably faster rates than what achievable by first-order models; this is without exchanging any Hessian matrix over the network.

연구 동기 및 목표

• 시간에 따라 변하는 방향성 있는 통신 그래프를 갖는 다중 에이전트 시스템을 위한 통신 효율적인 분산 최적화 알고리즘 설계의 과제를 해결하기 위해.
• 부드럽고 강력히 볼록인 함수의 합과 비부드럽고 볼록인 정규화항을 최소화하는 분산 복합 최적화 문제에서, 기존 1차 방법을 초월한 수렴 속도 향상을 위해.
• 에이전트의 국소 손실 함수 간의 통계적 유사성(예: 동일하게 분포된 데이터 설정에서)을 활용하여 헤시안 행렬 교환 없이도 더 빠른 수렴을 달성하기 위해.
• 방향성 있고 시간에 따라 변하는 그래프를 대상으로 하는 기울기 추적 기반 알고리즘을 개발하여 네트워크 연결성과 문제의 조건 수에 대해 향상된 의존도를 갖는 선형 수렴을 달성하기 위해.

제안 방법

• 에이전트의 하위 문제에서 표준 선형화(예: 프록시멀-기울기 방법) 대신 서구 함수를 사용함으로써 국소 손실 함수의 고차수 근사가 가능해진다.
• 글로벌 부드러운 성분 $ F $ 의 기울기를 정확하게 추정하기 위해, 기울기 추적과 교란이 있는 푸시-합 공유 메커니즘을 활용한다.
• 국소 손실의 유사성 측도 $ \beta $, $ F $ 의 조건 수 $ \kappa_g $, 그리고 강력한 볼록성 상수 $ \mu $ 를 고려한 새로운 분석 프레임워크를 도입하여 수렴 속도를 제한한다.
• 스텝 크기 $ \alpha $, 네트워크 연결성 $ \rho $, 서구 근사의 정밀도 사이의 균형을 정교하게 조절함으로써 선형 수렴를 달성하며, 유사 데이터 환경에서는 $ \beta/\mu $ 에 의존하는 수렴 속도를 갖는다.
• 알고리즘은 방향성 있고 시간에 따라 변하는 그래프를 대상으로 하며, 네트워크 동적 변화에 대해 강건성을 유지하면서도 수렴 보장을 유지한다.
• 이론적 분석을 통해 일반적인 경우에 $ \mathcal{O}(\kappa_g \log(1/\epsilon)) $ 개의 기울기 계산과 $ \tilde{\mathcal{O}}(\kappa_g (1-\rho)^{-1/2} \log(1/\epsilon)) $ 개의 통신 단계를 요구하며, $ \beta/\mu < \kappa_g $ 인 경우 더 향상된 수렴 속도를 달성한다.

실험 결과

연구 질문

• RQ1 분산 최적화에서 헤시안 행렬을 전송하지 않으면서도 고차수 서구 함수를 사용하여 1차 방법을 초월한 수렴 속도 향상을 달성할 수 있는가?
• RQ2 에이전트의 국소 손실 간의 통계적 유사성이 분산 최적화 알고리즘의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 교란이 있는 푸시-합 공유 기반 기울기 추적은 복합 최적화 문제에 대해 방향성 있고 시간에 따라 변하는 네트워크에서 선형 수렴를 달성할 수 있는가?
• RQ4 수렴 속도가 조건 수 $ \kappa_g $, 네트워크 연결성 $ \rho $, 손실 유사성 $ \beta $ 에 어떻게 의존하는가?
• RQ5 헤시안 행렬 교환 없이도 $ \beta/\mu < \kappa_g $ 인 경우 1차 방법보다 더 빠른 수렴을 달성할 수 있는가?

주요 결과

• 제안된 Surrogate-SONATA 알고리즘은 일반 설정에서 $ \mathcal{O}(\kappa_g \log(1/\epsilon)) $ 개의 기울기 계산과 $ \tilde{\mathcal{O}}(\kappa_g (1-\rho)^{-1/2} \log(1/\epsilon)) $ 개의 통신 단계를 통해 선형 수렴를 달성한다.
• 통계적으로 유사한 데이터에서의 경험적 리스크 최소화 설정에서는 $ \mathcal{O}((\beta/\mu) \log(1/\epsilon)) $ 번의 반복과 $ \tilde{\mathcal{O}}((\beta/\mu)(1-\rho)^{-1/2} \log(1/\epsilon)) $ 개의 통신 단계로 수렴한다.
• $ \beta/\mu < \kappa_g $ 인 경우, 고차수 서구 함수의 사용으로 인해 헤시안 행렬 교환 없이도 1차 방법보다 증명된 바로 빠른 수렴이 가능하다.
• 수렴 속도는 $ z \leq 1 - c(1-\sqrt{c})^2 \cdot \text{const} \cdot (1-\rho)^2 / (\kappa_g^2 \rho) $ 로 제한되며, 이는 네트워크 연결성 $ \rho $ 에 대한 개선된 의존도를 보여준다.
• 이 알고리즘은 조건 수 $ \kappa_g $ 에만 의존하는 수렴 속도를 갖는 첫 번째 분산 복합 최적화 알고리즘으로, 최악의 에이전트 조건 수에 의존하지 않는다.
• 이론적 분석은 교란이 있는 푸시-합 메커니즘과 서구 근사 오차의 정교한 분석을 통해, 이 방법이 방향성 있고 시간에 따라 변하는 그래프에서도 선형 수렴를 유지함을 확인한다.