[논문 리뷰] A Unified Convergence Analysis for Shuffling-Type Gradient Methods

Lam M. Nguyen, Quoc Tran-Dinh외 3명|arXiv (Cornell University)|2020. 02. 19.

Stochastic Gradient Optimization Techniques참고 문헌 45인용 수 26

한 줄 요약

이 논문은 유한합 최적화에서 셔플링 유형의 경사하강법에 대한 통합 수렴 분석을 제시한다. 랜덤 재배열, 단일 순열, 순환 방식을 포함한다. 비볼록 및 강볼록 문제에 대해 새로운 비점근 수렴 속도를 확립하여, 비볼록 케이스에서는 $ \mathcal{O}(\log T / \sqrt{T}) $ 속도를 달성하고, 강볼록 문제에 대해서는 유계 경사도 가정 없이도 기존에 알려진 최고 수준의 속도를 달성한다.

ABSTRACT

In this paper, we propose a unified convergence analysis for a class of generic shuffling-type gradient methods for solving finite-sum optimization problems. Our analysis works with any sampling without replacement strategy and covers many known variants such as randomized reshuffling, deterministic or randomized single permutation, and cyclic and incremental gradient schemes. We focus on two different settings: strongly convex and nonconvex problems, but also discuss the non-strongly convex case. Our main contribution consists of new non-asymptotic and asymptotic convergence rates for a wide class of shuffling-type gradient methods in both nonconvex and convex settings. We also study uniformly randomized shuffling variants with different learning rates and model assumptions. While our rate in the nonconvex case is new and significantly improved over existing works under standard assumptions, the rate on the strongly convex one matches the existing best-known rates prior to this paper up to a constant factor without imposing a bounded gradient condition. Finally, we empirically illustrate our theoretical results via two numerical examples: nonconvex logistic regression and neural network training examples. As byproducts, our results suggest some appropriate choices for diminishing learning rates in certain shuffling variants.

연구 동기 및 목표

• 다양한 무작위로 선택하지 않고 반복하는 전략(예: 랜덤 재배열, 결정적 또는 무작위 단일 순열, 순환 방식)에 적용 가능한 통합 이론적 프레임워크를 제공함.
• 표준 SGD에서의 i.i.d. 샘플링과 달리, 셔플링 방식에서의 의존성 문제를 다루어 수렴 분석의 복잡성을 완화함.
• 표준 연속성과 경사도 분산 가정 하에 비볼록 및 강볼록 유한합 문제에 대한 비점근 수렴 속도를 유도함.
• 특히 비볼록 설정에서 수렴을 보장하는 적절한 감소하는 학습률 스케줄을 규명함.
• 비볼록 로지스틱 회귀 및 신경망 학습 예제를 통해 이론적 결과를 실증적으로 검증함.

제안 방법

• 랜덤 재배열, 결정적 또는 무작위 단일 순열, 순환 방식을 포함한 모든 선택-반복 없음 전략에 적용 가능한 일반적인 수렴 프레임워크를 제안함.
• 기대 목표 함수 갭과 경사도 노름 제곱의 재귀 부등식을 기반으로 한 새로운 분석 기법을 사용: $ \mathbb{E}[F(w_{k+1}) - F_*] \leq \mathbb{E}[F(w_k) - F_*] - \rho \eta_k \mathbb{E}[\|\nabla F(w_k)\|^2] + D \eta_k^2 $.
• 일반화된 적분 부등식과 재귀 수열에 대한 보조정리를 적용하여 평균 경사도 노름을 유 bounds 하여 수렴 속도 유도 가능.
• 유연한 학습률 정책 $ \eta_t = \gamma / (t + \beta)^\alpha $ 를 도입하며, $ \alpha \in (1/2, 1) $ 이므로 수렴 속도와 안정성 간의 트레이드오프 가능.
• 리아푸노프 유사 함수를 사용하여 수렴 경계를 도출하고, 비-i.i.d. 의존성을 신중히 처리하기 위해 분산 항을 잘 bounds 함.
• 이전 연구에서 사용된 유계 경사도 조건을 피함으로써 결과의 일반성을 향상시킴.

실험 결과

연구 질문

• RQ1 표준 연속성과 경사도 분산 가정 하에 비볼록 유한합 문제에서 셔플링 유형의 경사하강법의 수렴 속도는 무엇인가?
• RQ2 랜덤 재배열 및 순환 방식을 포함한 다양한 셔플링 전략에 대해 통합 수렴 분석을 개발할 수 있는가?
• RQ3 다양한 학습률 스케줄은 셔플링 유형 방법의 수렴에 어떤 영향을 미치는가? 특히 비볼록 설정에서의 영향은?
• RQ4 제안된 분석은 이전 연구보다 더 좋은 수렴 속도를 달성하는가? 특히 유계 경사도 가정이 없을 경우에 대한 성능은?
• RQ5 이론적 결과는 로지스틱 회귀 및 신경망 학습과 같은 실제 기계학습 문제에서 실증적으로 검증될 수 있는가?

주요 결과

• 논문은 비볼록 유한합 문제에서 셔플링 유형 방법에 대해 $ \mathcal{O}(\log T / \sqrt{T}) $ 의 새로운 비점근 수렴 속도를 확립하였으며, 표준 가정 하에 기존 결과보다 향상됨.
• 강볼록 문제에 대해서는 유계 경사도 조건 없이도 문헌상 최고 수준의 속도를 달성하며, 상수 요소 수준에서 일치함.
• 분석은 랜덤 재배열, 단일 순열, 순환 방식을 포함한 모든 선택-반복 없음 전략에 일반적으로 적용 가능함.
• 통합 프레임워크를 통해 강볼록 및 비볼록 설정 모두에서 수렴을 보장하는 적절한 감소 학습률 스케줄(예: $ \eta_t = \gamma / (t + \beta)^{1/2} $)을 도출할 수 있음.
• 비볼록 로지스틱 회귀 및 신경망 학습에 대한 실증 결과는 이론적 예측을 확인하며, 표준 SGD보다 더 빠른 수렴을 보임.
• 학습률 $ \eta_t = \gamma / (t + \beta)^\alpha $ 에서 $ \alpha \in (1/2, 1) $ 의 선택은 수렴 속도와 안정성 간의 트레이드오프를 가능하게 하며, $ \alpha \to 1/2 $ 일 때 가장 느린 감쇠를 보이지만 최적의 수렴 속도를 달성함.