[논문 리뷰] Decentralized Accelerated Gradient Methods With Increasing Penalty Parameters

Huan Li, Cong Fang외 2명|arXiv (Cornell University)|2018. 10. 02.

Stochastic Gradient Optimization Techniques참고 문헌 55인용 수 11

한 줄 요약

이 논문은 증가하는 페널티 파라미터를 사용하는 가속화 페널티 방법 기반의 두 가지 탈중앙화된 가속 경사하강법을 제안한다. 첫 번째 알고리즘은 부드러운 문제에 대해 최적의 경사계산 복잡도와 근사 최적의 통신 복잡도를 달성하며, 두 번째 알고리즘은 비부드러운 문제에 대해 최적의 서브경사 및 통신 복잡도를 확보하여 알려진 하한값과 일치시킨다.

ABSTRACT

In this paper, we study the communication and (sub)gradient computation costs in distributed optimization and give a sharp complexity analysis for the proposed distributed accelerated gradient methods. We present two algorithms based on the framework of the accelerated penalty method with increasing penalty parameters. Our first algorithm is for smooth distributed optimization and it obtains the near optimal $O\left(\sqrt{\frac{L}{ε(1-σ_2(W))}}\log\frac{1}ε ight)$ communication complexity and the optimal $O\left(\sqrt{\frac{L}ε} ight)$ gradient computation complexity for $L$-smooth convex problems, where $σ_2(W)$ denotes the second largest singular value of the weight matrix $W$ associated to the network and $ε$ is the target accuracy. When the problem is $μ$-strongly convex and $L$-smooth, our algorithm has the near optimal $O\left(\sqrt{\frac{L}{μ(1-σ_2(W))}}\log^2\frac{1}ε ight)$ complexity for communications and the optimal $O\left(\sqrt{\frac{L}μ}\log\frac{1}ε ight)$ complexity for gradient computations. Our communication complexities are only worse by a factor of $\left(\log\frac{1}ε ight)$ than the lower bounds for the smooth distributed optimization. %As far as we know, our method is the first to achieve both communication and gradient computation lower bounds up to an extra logarithm factor for smooth distributed optimization. Our second algorithm is designed for non-smooth distributed optimization and it achieves both the optimal $O\left(\frac{1}{ε\sqrt{1-σ_2(W)}} ight)$ communication complexity and $O\left(\frac{1}{ε^2} ight)$ subgradient computation complexity, which match the communication and subgradient computation complexity lower bounds for non-smooth distributed optimization.

연구 동기 및 목표

• 탈중앙화된 환경에서 분산 최적화의 통신 및 경사계산 비용을 해결한다.
• 부드럽고 비부드러운 볼록 문제 모두에 대해 최적 또는 근사 최적의 복잡도를 달성하는 알고리즘을 개발한다.
• 가속화 페널티 프레임워크 내에서 증가하는 페널티 파라미터를 사용하여 기존 방법의 한계를 극복한다.
• 부드러운 문제에 대해 이론적 하한값에 로그 인자 정도 내에서 통신 복잡도를 확보한다.
• 비부드러운 분산 최적화에서 알려진 하한값과 서브경사 및 통신 복잡도를 일치시킨다.

제안 방법

• 증가하는 페널티 파라미터를 사용하는 가속화 페널티 방법 프레임워크를 제안하여 수렴성과 통신 효율성을 균형 잡는다.
• 부드러운 문제를 위한 APM-C와 비부드러운 문제를 위한 APM이라는 두 가지 알고리즘을 설계하며, 각각 국소 계산과 이웃 간 통신을 사용한다.
• 적응형 스텝 사이즈 및 내부 반복 스케줄링 도입: APM-C의 경우 $ T_k = \lceil \frac{\log(k+1)}{5\sqrt{1-\sigma_2(W)}} \rceil $ 와 유사한 방식을 APM에도 적용.
• 반복 과정에서 증가하는 페널티 파라미터 $ \beta_k $ 를 사용하며, $ \beta_0 $ 는 네트워크 연결성 $ \sigma_2(W) $ 를 기반으로 조정된다.
• 이중 공간에서 네스테로프 유형의 가속을 적용하여 수렴 속도를 향상시킨다.
• 네트워크의 구조를 활용하기 위해 가중치 행렬 $ W $ 를 사용하며, $ \sigma_2(W) $ 는 네트워크 연결성을 정량화하고 수렴 속도에 영향을 미친다.

실험 결과

연구 질문

• RQ1 부드러운 분산 문제에 대해 최적의 경사계산 복잡도를 달성하는 탈중앙화 알고리즘을 설계할 수 있는가?
• RQ2 통신 복잡도를 이론적 하한값에 $ \log(1/\epsilon) $ 인자 정도 내에서 근사 최적화할 수 있는가?
• RQ3 비부드러운 분산 최적화에서 최적의 서브경사 및 통신 복잡도를 동시에 확보할 수 있는가?
• RQ4 네트워크 연결성($ \sigma_2(W) $ 로 정량화됨)은 탈중앙화된 가속 방법의 성능에 어떤 영향을 미치는가?
• RQ5 증가하는 페널티 파라미터가 통신 효율성을 희생시키지 않고 탈중앙화 환경에서 수렴을 향상시킬 수 있는가?

주요 결과

• 부드럽고 강한 볼록이 아닌 문제에 대해 제안된 APM-C는 $ O\left(\sqrt{\frac{L}{\epsilon}}\right) $ 의 경사계산 복잡도와 $ O\left(\sqrt{\frac{L}{\epsilon(1-\sigma_2(W))}}\log\frac{1}{\epsilon}\right) $ 의 통신 복잡도를 달성하며, 이는 근사 최적이다.
• 부드럽고 강한 볼록인 문제에 대해 APM-C는 $ O\left(\sqrt{\frac{L}{\mu}}\log\frac{1}{\epsilon}\right) $ 의 경사계산 복잡도와 $ O\left(\sqrt{\frac{L}{\mu(1-\sigma_2(W))}}\log^2\frac{1}{\epsilon}\right) $ 의 통신 복잡도를 달성하며, 알려진 하한값에 $ \log^2(1/\epsilon) $ 인자 정도 내에서 일치한다.
• 비부드러운 문제에 대해 APM 알고리즘은 $ O\left(\frac{1}{\epsilon^2}\right) $ 의 서브경사계산 복잡도와 $ O\left(\frac{1}{\epsilon\sqrt{1-\sigma_2(W)}}\right) $ 의 통신 복잡도를 달성하며, 이는 이론적 하한값과 일치한다.
• 실험 결과 APM-C는 계산 비용 측면에서 D-NG, D-NC, DNGD, EXTRA, ADA를 모두 능가하며, 특히 강한 볼록이 아닌 설정에서 두각을 나타낸다.
• APM-adp(적응형 파라미터)는 APM-fix(고정 파라미터)보다 통신 횟수와 서브경사계산 횟수를 줄여 동적 파라미터 조정의 유용성을 입증한다.
• 알고리즘은 네트워크 연결성에 대해 강건하다: $ \frac{1}{\sqrt{1-\sigma_2(W)}} $ 가 증가함에 따라 성능 저하가 약간 발생하며, 특히 강한 볼록이 아닌 경우에 두드러진다.