[논문 리뷰] Optimal algorithms for smooth and strongly convex distributed optimization in networks

Kevin G. Seaman, Francis Bach외 3명|arXiv (Cornell University)|2017. 02. 28.

Distributed Control Multi-Agent Systems참고 문헌 24인용 수 189

한 줄 요약

이 논문은 매끄럽고 강볼록한 분산 최적화에 대해 중심화 및 분산 네트워크에서의 최적 수렴 속도를 도출하고, 이 경계에 부합하는 SSDA와 MSDA를 최적 방법으로 제시합니다.

ABSTRACT

In this paper, we determine the optimal convergence rates for strongly convex and smooth distributed optimization in two settings: centralized and decentralized communications over a network. For centralized (i.e. master/slave) algorithms, we show that distributing Nesterov's accelerated gradient descent is optimal and achieves a precision $\varepsilon > 0$ in time $O(\sqrt{κ_g}(1+Δτ)\ln(1/\varepsilon))$, where $κ_g$ is the condition number of the (global) function to optimize, $Δ$ is the diameter of the network, and $τ$ (resp. $1$) is the time needed to communicate values between two neighbors (resp. perform local computations). For decentralized algorithms based on gossip, we provide the first optimal algorithm, called the multi-step dual accelerated (MSDA) method, that achieves a precision $\varepsilon > 0$ in time $O(\sqrt{κ_l}(1+\fracτ{\sqrtγ})\ln(1/\varepsilon))$, where $κ_l$ is the condition number of the local functions and $γ$ is the (normalized) eigengap of the gossip matrix used for communication between nodes. We then verify the efficiency of MSDA against state-of-the-art methods for two problems: least-squares regression and classification by logistic regression.

연구 동기 및 목표

• 중심화 및 분산 네트워크에서 매끄럽고 강볼록한 목적함수를 갖는 분산 최적화에 대한 근본적이고 최적의 수렴 속도를 결정한다.
• 이 최적 속도를 달성하는 알고리즘을 제시한다: 중심화 설정에 대한 Nesterov 가속 경사하강법의 분산화 및 분산 설정에 대한 이중가속 방법 도입.
• 네트워크 특성(직경, 고유치 간격)이 복잡도 경계에 미치는 영향을 분석하고 최신 방법들과 비교한다.
• 제안된 방법을 최소자승회귀와 로지스틱 회귀에 적용하여 실용적 효율성을 입증한다.

제안 방법

• 중심화 문제의 경우, Nesterov의 가속 경사하강법을 분산화하여 속도 O(sqrt(kappa_g) (1+Δτ) ln(1/ε))를 달성한다.
• 분산화된 문제의 경우 이중 문제를 형식화하고 단일 단계 이중 가속(SSDA) 방법을 도출하여 속도 O(sqrt(kappa_l) (1+τ/√γ) ln(1/ε))를 달성하되 여기서 γ는 고소비된 gossip 매트릭스의 정규화된 고유갭이다.
• Chebyshev 가속을 gossip 단계에 적용하여 MSDA 방법을 도입하고 속도 O(sqrt(kappa_l) (1+τ/√γ) ln(1/ε))를 얻는다.
• 제약이 있는 변수에 대해 Theta√W=0인 이중 형식을 사용하고 이중에서 가속 경사를 통해 문제를 풀이하는 이중 형식을 사용한다.
• gossip 연산자를 개선하기 위해 Chebyshev 다항 가속 P_K(W)을 적용하고 γ에 대한 최적 의존성을 얻고 K ≈ ⌊1/√γ⌋에 근사한다.
• 복합 함수, 워밍스타트, 비동기 변형과 같은 확장을 논의한다.

실험 결과

연구 질문

• RQ1 중심화 및 분산 분산 최적화에서 매끄럽고 강볼록한 목적함수를 가진 경우의 최적 오라클 복잡도 하한은 무엇인가?
• RQ2 이 하한을 중심화 및 분산된 설정의 실용적 알고리즘으로 달성할 수 있는가?
• RQ3 네트워크 직경 Δ 및 gossip 고유갭 γ가 수렴 속도 경계에 어떤 영향을 미치는가?
• RQ4 SSDA와 MSDA가 실용적 문제인 최소자승 회귀 및 로지스틱 회귀에서 기존 방법(D-ADMM, EXTRA, DIGing) 대비 어떤 성능을 보이는가?

주요 결과

• 중심화 마스터/슬레이브 최적화의 경우, Nesterov의 가속 경사하강법을 분산화하면 최적 속도와 시간 O(sqrt(kappa_g) (1+Δτ) ln(1/ε))를 달성한다.
• 분산화된(가십 기반) 최적화의 경우 MSDA 방법이 최적 속도 O(sqrt(kappa_l) (1+τ/√γ) ln(1/ε))를 달성한다.
• 하한은 블랙박스 절차가 kappa_g, Δ, τ(중심화) 및 kappa_l, γ, τ(분산화) 측면에서 적어도 이러한 차수의 복잡도가 필요함을 보여준다.
• SSDA는 단순한 이중 가속 접근을 제공하며, 증명된 O((1+τ) sqrt(kappa_l/γ) ln(1/ε))의 정밀도 시간을 가진다.
• MSDA는 가십 단계를 Chebyshev 가속으로 개선하여 동일 차수를 달성하되 의사소통이 저렴할 때 실용적 효율이 더 좋아져 O(sqrt(kappa_l) (1+τ/√γ) ln(1/ε))를 제공한다.
• 최소자승 및 로지스틱 회귀에 대한 실험 결과 DAGD가 중심화 방법 중에서 최적이며, MSDA가 분산식 비교에서 가장 강력한 경쟁자로서 D-ADMM, EXTRA, DIGing을 다양한 설정에서 능가한다.