[논문 리뷰] Optimal Gradient Sliding and its Application to Distributed Optimization Under Similarity

Dmitry Kovalev, Aleksandr Beznosikov외 3명|arXiv (Cornell University)|2022. 05. 30.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 목적 함수가 매끄럽고 비볼록 함수 $ p $ 와 매끄럽고 볼록 함수 $ q $ 의 합인 구조적 볼록 최적화 문제에 대해 최적의 기울기 슬라이딩 방법을 제안한다. $ p $ 의 기울기 계산을 건너뛰면서도 최적 수렴 속도를 유지함으로써, $ p $ 와 $ q $ 에 대해 각각 $ \mathcal{O}(\sqrt{L_p/\mu}) $ 와 $ \mathcal{O}(\sqrt{L_q/\mu}) $ 개의 기울기 호출을 달성한다. 이는 고전적 방법의 $ \mathcal{O}(\sqrt{(L_p+L_q)/\mu}) $ 과 비교해 더 날카롭다. 이 방법은 함수 유사성 하에서 분산 최적화에 적용되어, 처음으로 최적의 통신 및 국소 계산 복잡도를 달성한다.

ABSTRACT

We study structured convex optimization problems, with additive objective $r:=p + q$, where $r$ is ($μ$-strongly) convex, $q$ is $L_q$-smooth and convex, and $p$ is $L_p$-smooth, possibly nonconvex. For such a class of problems, we proposed an inexact accelerated gradient sliding method that can skip the gradient computation for one of these components while still achieving optimal complexity of gradient calls of $p$ and $q$, that is, $\mathcal{O}(\sqrt{L_p/μ})$ and $\mathcal{O}(\sqrt{L_q/μ})$, respectively. This result is much sharper than the classic black-box complexity $\mathcal{O}(\sqrt{(L_p+L_q)/μ})$, especially when the difference between $L_q$ and $L_q$ is large. We then apply the proposed method to solve distributed optimization problems over master-worker architectures, under agents' function similarity, due to statistical data similarity or otherwise. The distributed algorithm achieves for the first time lower complexity bounds on {\it both} communication and local gradient calls, with the former having being a long-standing open problem. Finally the method is extended to distributed saddle-problems (under function similarity) by means of solving a class of variational inequalities, achieving lower communication and computation complexity bounds.

연구 동기 및 목표

• 기존의 분산 최적화 방법들이 동시에 최적의 통신 및 국소 기울기 복잡도를 달성하지 못하는 비효율성 문제를 해결하기 위해.
• 비용이 많이 드는 $ p $ 의 기울기 계산을 건너뛰면서도 최적 수렴 속도를 유지하는 일阶 알고리즘을 설계하기 위해.
• 통계적 데이터 유사성 또는 공유 헤시안 행렬 구조로 인해 발생하는 분산 환경에서의 함수 유사성을 활용하여 통신 오버헤드를 줄이기 위해.
• 유사성 하에서 분산 최적화의 이론적 하한과 달성 가능한 복잡도 간 격차를 메우기 위해.
• 변분부등식 해법을 통해 분산 사 saddle-point 문제로 이 방법을 확장하여 복잡도 한계를 향상시키기 위해.

제안 방법

• 분산 문제를 $ \min_x r(x) = q(x) + p(x) $ 로 재구성하며, $ q $ 는 볼록하고 매끄럽다(예: 마스터 측 계산), $ p $ 는 비볼록이지만 매끄럽다(예: 통신이 필요함).
• 기울기 평가를 $ p $ 에 대해 건너뛰는 비정확한 가속 기울기 슬라이딩 방법을 도입하여 통신 비용을 줄이고 최적 수렴을 유지한다.
• 모멘타임 기반 업데이트와 적응형 스텝 사이즈, 이중 평균 유사한 구조를 사용하여 $ p $ 와 $ q $ 에서의 진전을 균형 있게 조절한다.
• 에이전트 간 헤시안 행렬의 유사성(즉, $ \|\nabla^2 f_i(x) - \nabla^2 f_j(x)\| \leq \delta $)을 활용하여 보다 날카운 복잡도 한계를 유도한다.
• 모노톤 연산자를 가진 변분부등식 문제로 환원하여 분산 사 saddle-point 문제에 이 방법을 적용한다.
• 리아푸노프 함수 분석을 통해 수렴성을 입증하며, 원시-이중 갭에 대해 $ \mathcal{O}(1/K) $ 수렴 속도를 입증한다.

실험 결과

연구 질문

• RQ1 부분 함수의 매끄러움과 볼록성에 차이가 있을 때 복합 목적 함수에서 각 성분에 대해 별도 최적 복잡도를 달성할 수 있는가?
• RQ2 함수 유사성이 존재할 때 통신 복잡도를 $ \widetilde{\mathcal{O}}(\sqrt{\delta/\mu}) $ 이하로 낮출 수 있는가?
• RQ3 함수 유사성 하에서 분산 환경에서 최적의 통신 및 국소 기울기 복잡도를 동시에 달성할 수 있는가?
• RQ4 제안된 방법을 복잡도 한계 향상으로 분산 사 saddle-point 문제로 확장할 수 있는가?
• RQ5 함수 유사성 하에서 분산 최적화의 통신 및 계산 효율성의 이론적 한계는 무엇인가?

주요 결과

• 제안된 방법은 $ p $ 와 $ q $ 에 대해 각각 $ \mathcal{O}(\sqrt{L_p/\mu}) $ 와 $ \mathcal{O}(\sqrt{L_q/\mu}) $ 개의 기울기 호출을 달성하며, 이는 고전적 블랙박스 복잡도 $ \mathcal{O}(\sqrt{(L_p+L_q)/\mu}) $ 와 비교해 엄밀히 우월하다.
• 함수 유사성 하에서의 분산 최적화에 대해, 이 방법은 알려진 하한에 대해 통신 복잡도의 첫 번째 알려진 하한을 달성하며, 로그 인자까지는 알려진 하한과 일치한다.
• 국소 기울기 호출 수를 $ \mathcal{O}(\sqrt{\kappa}) $ 로 줄여 계산 최적성을 달성하였으며, 이는 이전 방법이 비최적임을 보여준다.
• 변분부등식 해법을 통해 분산 사 saddle-point 문제로 알고리즘을 확장하여 최적의 통신 및 계산 복잡도를 달성한다.
• 수치 실험을 통해 이론적 성과가 확인되었으며, 유사성 하에서 더 빠른 수렴과 감소된 통신을 보여준다.
• 이 방법은 함수 유사성 하에서 분산 환경에서 동시에 최적의 통신 및 계산 복잡도를 달성함으로써 새로운 벤치마크를 설정한다.