[논문 리뷰] Optimal Decentralized Distributed Algorithms for Stochastic Convex Optimization

Eduard Gorbunov, Darina Dvinskikh외 1명|arXiv (Cornell University)|2019. 11. 17.

Stochastic Gradient Optimization Techniques참고 문헌 93인용 수 34

한 줄 요약

이 논문은 선형 제약 조건을 가진 확률적 볼록 최적화를 위한 새로운 분산형 분산 알고리즘을 제안한다. 원본 및 이중 접근법을 활용하며, 비정확한 프록시멀 단계와 기울기 슬라이딩을 적용한다. 통신 라운드 수와 오라클 호출 수 측면에서 최적 수렴 속도를 확립하여, ε-정밀도에서 O(√L/μ log(1/ε))회의 반복과 eO(max{√L/μ, σ²/ε})회의 오라클 호출을 달성한다. 편향이 있는 및 편향이 없는 확률적 오라클 조건 하에서 날카운 경계를 확보한다.

ABSTRACT

We consider stochastic convex optimization problems with affine constraints and develop several methods using either primal or dual approach to solve it. In the primal case we use special penalization technique to make the initial problem more convenient for using optimization methods. We propose algorithms to solve it based on Similar Triangles Method with Inexact Proximal Step for the convex smooth and strongly convex smooth objective functions and methods based on Gradient Sliding algorithm to solve the same problems in the non-smooth case. We prove the convergence guarantees in smooth convex case with deterministic first-order oracle. We propose and analyze three novel methods to handle stochastic convex optimization problems with affine constraints: SPDSTM, R-RRMA-AC-SA and SSTM_sc. All methods use stochastic dual oracle. SPDSTM is the stochastic primal-dual modification of STM and it is applied for the dual problem when the primal functional is strongly convex and Lipschitz continuous on some ball. R-RRMA-AC-SA is an accelerated stochastic method based on the restarts of RRMA-AC-SA and SSTM_sc is just stochastic STM for strongly convex problems. Both methods are applied to the dual problem when the primal functional is strongly convex, smooth and Lipschitz continuous on some ball and use stochastic dual first-order oracle. We develop convergence analysis for these methods for the unbiased and biased oracles respectively. Finally, we apply all aforementioned results and approaches to solve decentralized distributed optimization problem and discuss optimality of the obtained results in terms of communication rounds and number of oracle calls per node.

연구 동기 및 목표

• 선형 제약 조건 하에서 최적의 분산형 분산 알고리즘을 개발한다.
• 분산 환경에서 이론적 수렴 속도와 실용적 통신 효율성 간 격차를 메운다.
• 특히 분산 네트워크에서 편향이 있는 및 편향이 없는 확률적 오라클 조건 하에서 수렴성을 분석한다.
• 부드럽고 강하게 볼록인 문제에 대해 통신 횟수와 오라클 호출 수에 대한 날카운 경계를 확립한다.
• 비정확한 오라클과 편향이 있는 확률적 기울기를 고려한 가속화된 방법을 원본-이중 프레임워크로 확장한다.

제안 방법

• 유사 삼각형 방법(STM)과 비정확한 프록시멀 단계를 활용해 효율적인 최적화를 위한 문제 재구성에 페널티 기법을 적용하는 원본 접근법을 제안한다.
• 비미분 가능 케이스를 위해 기울기 슬라이딩 알고리즘을 도입하여 확률적 서그리디언트를 효율적으로 처리한다.
• 편향이 있는 및 편향이 없는 확률적 오라클에 특화된 세 가지 새로운 방법(SPDSTM, SSTM sc, R-RRMA-AC-SA2)을 개발한다.
• 강하게 볼록한 이중 함수와 재시작 기법을 활용해 수렴 속도를 가속화하는 이중 접근법을 적용한다.
• 이중 문제에 직접 가속화를 적용하고 리아푸노프 함수 및 확률적 오차 경계를 통해 수렴성을 증명한다.
• 분산 분석 및 비정확한 오라클 분석을 통해 반복 수와 오라클 복잡도에 대한 날카운 경계를 유도한다.

실험 결과

연구 질문

• RQ1 선형 제약 조건을 가진 분산형 확률적 볼록 최적화에서 최적의 통신 복잡도는 무엇인가?
• RQ2 편향이 있는 확률적 오라클을 고려한 분산 네트워크에서 가속화된 원본-이중 방법은 어떻게 설계할 수 있는가?
• RQ3 분산형 확률적 최적화에서 오라클 호출 수와 통신 횟수 사이의 상충 관계는 무엇인가?
• RQ4 비정확한 프록시멀 단계와 기울기 슬라이딩를 조합하여 비미분 가능 설정에서 최적 수렴을 달성할 수 있는가?
• RQ5 편향이 있는 및 편향이 없는 확률적 오라클은 분산 이중 방법의 수렴 속도에 어떻게 영향을 미치는가?

주요 결과

• 제안된 R-RRMA-AC-SA2는 편향이 없는 경우 ε-정밀도에서 O(√L/μ log(1/ε))회의 통신 획수로 최적 수렴을 달성한다.
• 편향이 있는 오라클(SPDSTM, SSTM sc)의 경우, O(√L/μ log(1/ε))의 수렴 속도를 달성하며, eO(max{√L/μ, σ²/ε})회의 오라클 호출을 필요로 한다.
• 알고리즘 프레임워크는 고확률적으로 f(˜xN) − f(x*) ≤ (2 + √(2C/λmax(A⊤A) + G1))ε/Ry를 보장한다.
• 확률 1 − 4β 이상에서 ∥A˜xN∥₂ ≤ (1 + √(2C) + G1/√λmax(A⊤A))ε/Ry를 확보한다.
• 분석을 통해 ε-정밀도에서 총 오라클 호출 수가 eO(max{√L/μ, σ²/ε})임을 증명하였으며, 이는 알려진 하한 경계와 일치한다.
• 통신 횟수와 오라클 복잡도 측면에서 수렴 속도가 최적이며, 확률적 리아푸노프 함수 및 비정확한 오라클 분석을 통해 날카운 경계가 유도되었다.