[논문 리뷰] Asynchronous Iterations in Optimization: New Sequence Results and Sharper Algorithmic Guarantees

Hamid Reza Feyzmahdavian, Mikael Johansson|arXiv (Cornell University)|2021. 09. 09.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 최적화에서 이종적 반복의 새로운 시퀀스 기반 수렴 결과를 제안하며, 이는 이종성 수준에 따라 의존하는 더 날카운, 명시적인 수렴 속도 경계를 가능하게 한다. 주요 알고리즘 가족의 분석을 통합함으로써, 프록시멀 인크리멘탈 그래디언트 방법의 반복 복잡도를 향상시키고, 평균 지연을 사용한 이종적 SGD의 보장을 강화하며, 일반적인 지연 모델 하에서 블록좌표 및 완전히 이종적인 계획에 대해 더 날카운 수렴 속도를 제공한다.

ABSTRACT

We introduce novel convergence results for asynchronous iterations that appear in the analysis of parallel and distributed optimization algorithms. The results are simple to apply and give explicit estimates for how the degree of asynchrony impacts the convergence rates of the iterates. Our results shorten, streamline and strengthen existing convergence proofs for several asynchronous optimization methods and allow us to establish convergence guarantees for popular algorithms that were thus far lacking a complete theoretical understanding. Specifically, we use our results to derive better iteration complexity bounds for proximal incremental aggregated gradient methods, to obtain tighter guarantees depending on the average rather than maximum delay for the asynchronous stochastic gradient descent method, to provide less conservative analyses of the speedup conditions for asynchronous block-coordinate implementations of Krasnoselskii-Mann iterations, and to quantify the convergence rates for totally asynchronous iterations under various assumptions on communication delays and update rates.

연구 동기 및 목표

• 실제 이종성 모델 하에서 이종 최적화 알고리즘의 명시적이고 날카운 수렴 속도 보장을 위한 부족함을 해결하기 위해.
• 이전에 복잡하고 특수한 귀납에 의존했던, Hogwild!, ASGD, ARock 및 Asaga와 같은 인기 있는 이종적 방법의 수렴 증명을 통합하고 단순화하기 위해.
• 이종성의 구조적 영향을 포착하는 일반화 가능한 이론적 도구를 개발하여, 이를 노이즈나 최악의 경우 왜곡으로 간주하는 것이 아니라.
• 유계 및 무계 통신 지연 하에서 수렴 속도를 정량화하기 위해, 특히 완전히 이종적인 반복에 대해.
• 평균 지연에 따라 더 큰 스텝 사이즈와 더 날카운 복잡도 경계를 허용함으로써 알고리즘 효율성을 향상시키기 위해.

제안 방법

• 이종 반복의 역학을 모델링하기 위해 특정 부등식으로 정의된 두 종류의 시퀀스 가족을 도입한다.
• 이 시퀀스 가족에 대한 일반적인 수렴 정리를 도출하며, 최대 지연 또는 평균 지연과 같은 이종성 매개변수에 기반한 명시적인 감쇠 속도를 제공한다.
• 이러한 시퀀스 결과를 프록시멀 인크리멘탈 집합 그래디언트 방법 분석에 적용하여, 향상된 반복 복잡도 경계를 도출한다.
• 이 프레임워크를 사용해 지연에 의존하는 스텝 사이즈를 갖는 이종적 확률적 그래디언트 하강법을 분석하여, 최대 지연이 아닌 평균 지연에 의존하는 더 날카운 경계를 도출한다.
• 블록좌표 업데이트 하에서 크라스노셀스키-만 반복에 결과를 적용하여, 가속도와 스텝 사이즈 범위 보장을 향상시킨다.
• 다항식 감쇠 속도를 갖는 리아푸노프 유사 함수를 구성함으로써, 선형으로 증가하는 무계 지연 하에서 완전히 이종적인 반복에 대한 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 어떻게 이종성 수준에 따라 의존하는 명시적 비점근 수렴 속도 경계를 이종 최적화 알고리즘에 대해 유도할 수 있는가?
• RQ2 ASGD, ARock 및 프록시멀 IAG와 같은 이종적 방법의 기존 수렴 증명을 통합하고 단순화할 수 있는가? 이는 공통의 시퀀스 구조를 식별함으로써 가능한가?
• RQ3 스텝 사이즈 규칙과 복잡도 경계에서 최대 지연 대신 평균 지연을 사용할 경우, 수렴 보장은 어느 정도 향상될 수 있는가?
• RQ4 통신 지연이 무한히 증가할 때, 완전히 이종적인 반복에 대해 어떤 수렴 속도를 확립할 수 있는가?
• RQ5 제안된 시퀀스 결과는 블록좌표 및 의사수축 기반 이종 알고리즘에 대한 이론적 이해를 어떻게 향상시키는가?

주요 결과

• 볼록이고 L-리프시츠 연속인 목적 함수에 대해 프록시멀 인크리멘탈 집합 그래디언트 방법의 반복 복잡도는 O(Lτ/ε)로 향상되었으며, 이는 이전의 O(L²τ³/ε) 경계에 비해 상당한 감소이다.
• 이차 기능 성장 조건 하에서 반복 복잡도는 O(Qτ log(1/ε))가 되며, 여기서 Q = L/μ는 조건 수이고, 이 방법은 이전 결과보다 더 큰 스텝 사이즈를 허용한다.
• 이종적 확률적 그래디언트 하강법에 대해 분석을 통해 최대 지연이 아닌 평균 지연에 의존하는 더 날카운 수렴 보장을 제공하며, 실용성과 확장성 향상에 기여한다.
• 블록좌표 업데이트에 대한 ARock 프레임워크는 새로운 시퀀스 기반 분석 덕분에 더 빠른 수렴 속도와 더 넓은 허용 스텝 사이즈 범위를 달성한다.
• 무계 지연이 선형적으로 증가하는 경우, 완전히 이종적인 반복에 대해 수렴 속도가 O(1/k^η) (어느 η > 0)로 나타나며, 현실적인 지연 모델 하에서 명시적인 감쇠를 확립한다.
• 이 프레임워크는 이전 연구에서의 점근적 수렴 결과를 복원하고 강화하며, 명시적이고 정량화 가능한 경계를 제공함으로써 그 일반성과 강력함을 입증한다.