[논문 리뷰] High-Probability Convergence for Composite and Distributed Stochastic Minimization and Variational Inequalities with Heavy-Tailed Noise

Eduard Gorbunov, Abdurakhmon Sadiev외 6명|arXiv (Cornell University)|2023. 10. 03.

Stochastic Gradient Optimization TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 중성자 노이즈가 있는 복합 및 분산 최적화 문제를 위한 새로운 확률적 최적화 방법을 제안하며, 경사도 차이 클리핑을 사용하여 날카운 고확률 수렴 보장을 달성한다. 이는 거의 최적의 수렴 속도를 확립하며, 강凸 문제에 대해 선형 수렴을 달성하여 이전 연구에서 복합 또는 분산 설정에서 중성자 노이즈를 다루지 못한 한계를 해결한다.

ABSTRACT

High-probability analysis of stochastic first-order optimization methods under mild assumptions on the noise has been gaining a lot of attention in recent years. Typically, gradient clipping is one of the key algorithmic ingredients to derive good high-probability guarantees when the noise is heavy-tailed. However, if implemented naïvely, clipping can spoil the convergence of the popular methods for composite and distributed optimization (Prox-SGD/Parallel SGD) even in the absence of any noise. Due to this reason, many works on high-probability analysis consider only unconstrained non-distributed problems, and the existing results for composite/distributed problems do not include some important special cases (like strongly convex problems) and are not optimal. To address this issue, we propose new stochastic methods for composite and distributed optimization based on the clipping of stochastic gradient differences and prove tight high-probability convergence results (including nearly optimal ones) for the new methods. Using similar ideas, we also develop new methods for composite and distributed variational inequalities and analyze the high-probability convergence of these methods.

연구 동기 및 목표

• 중성자 노이즈 하에서 복합 및 분산 확률적 최적화에 대한 고확률 수렴 분석의 부재를 해결하기 위해.
• 표준 경사도 클리핑이 노이즈가 없는 경우조차도 프록실 및 분산 방법에서 실패하는 이유를 극복하기 위해.
• 중성자 노이즈가 존재하는 상황에서 가속 및 선형 수렴 속도를 고확률로 달성하는 새로운 알고리즘을 개발하기 위해.
• 유사한 노이즈 조건 하에서 복합 및 분산 변분부등식으로 분석을 확장하기 위해.

제안 방법

• 원시 경사도가 아닌 확률적 경사도 차이를 기반으로 한 새로운 클리핑 메커니즘을 제안하여 복합 및 분산 설정에서 수렴을 안정화한다.
• 적응형 경사도 차이 클리핑을 사용하는 Prox-clipped-SGD 및 Prox-clipped-SGD-shift 변종을 도입하여 중성자 노이즈 하에서도 수렴을 유지한다.
• 편차 확률을 제한하기 위해 농도 부등식과 사건 분해를 사용하는 고확률 분석 프레임워크를 활용한다.
• 클리핑과 스텝 사이즈 스케줄링을 통해 경사도 차이의 성장률을 통제함으로써 날카운 복잡도 경계를 유도한다.
• 최소화 문제와 변분부등식 문제 양쪽에 방법을 적용하여 분산 및 복합 형식으로 확장한다.
• 반복적인 사건 기반 분석을 사용하여, 중성자 노이즈 조건 하에서도 반복값이 고확률로 최적 해에 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 경사도 차이 클리핑은 중성자 노이즈 하에서 복합 및 분산 확률적 최적화에서 고확률 수렴을 가능하게 할 수 있는가?
• RQ2 표준 경사도 클리핑 방법이 노이즈가 없는 경우조차도 프록실 및 분산 설정에서 실패하는 이유는 무엇인가?
• RQ3 새로운 클리핑 전략을 사용하여 중성자 노이즈 하에서 강凸 문제에 대해 거의 최적의 수렴 속도(선형 수렴 포함)를 달성할 수 있는가?
• RQ4 제안된 방법은 제약 조건과 복합 구조를 가진 변분부등식으로 확장될 수 있는가?
• RQ5 고확률 영역에서 클리핑 수준, 스텝 사이즈, 수렴 속도 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• 제안된 Prox-clipped-SGD 및 Prox-clipped-SGD-shift 방법은 중성자 노이즈 하에서 복합 및 분산 문제에 대해 거의 최적의 속도로 고확률 수렴을 달성한다.
• 이 방법은 강凸 문제에 대해 고확률로 선형 수렴을 보장하여 이전 접근 방식의 한계를 극복한다.
• 분석 결과, 확률 1−β 이상로 반복값이 ∥xK+1−x∗∥2≤O(Vexp(−Kln2(nK)/β))를 만족함을 보여주며, 문제 파라미터에 대한 거의 최적의 의존성을 확보한다.
• 강凸 케이스에서 이 방법은 고확률로 O(exp(−μK/L))의 수렴 속도를 달성하며, 기대값 기반 최적 속도와 일치한다.
• ε-정확도를 달성하기 위한 복잡도 경계는 K=O(max(L/√nμ, L/μ ln(V/ε), (σ²/μ²ε)^(α/(2(α−1))) ln(n/β)))이며, 로그 인자 외에는 타이트하다.
• 수치 실험을 통해 경사도 차이 클리핑이 난이도 있는 경사도 클리핑보다 뛰어나며, 특히 작은 클리핑 수준에서 더 빠른 수렴과 높은 정확도를 달성함을 확인했다.