[논문 리뷰] Random Shuffling Beats SGD after Finite Epochs

Jeffery Z. HaoChen, Suvrit Sra|arXiv (Cornell University)|2018. 06. 26.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 9

한 줄 요약

이 논문은 강한 볼록성과 이阶 미분 가능성을 가정할 때 Random Shuffle SGD에 대해 최초로 비점근 수렴 속도를 확립하며, 유한한 수의 에포크 이후 표준 SGD보다 빠르게 수렴함을 증명한다. 수렴 속도는 $\mathcal{O}\bigl(\frac{1}{T^{2}} + \frac{n^{3}}{T^{3}}\bigr)$로 도출되었으며, 이는 합리적인 $T$에 대해 Random Shuffle가 SGD의 $\mathcal{O}(1/T)$ 수렴 속도를 엄격히 능가함을 보여주며, 희소 데이터 설정에서는 향상된 $\mathcal{O}(1/T^2)$ 수렴 속도를 달성한다.

ABSTRACT

A long-standing problem in the theory of stochastic gradient descent (SGD) is to prove that its without-replacement version RandomShuffle converges faster than the usual with-replacement version. We present the first (to our knowledge) non-asymptotic solution to this problem, which shows that after a "reasonable" number of epochs RandomShuffle indeed converges faster than SGD. Specifically, we prove that under strong convexity and second-order smoothness, the sequence generated by RandomShuffle converges to the optimal solution at the rate O(1/T^2 + n^3/T^3), where n is the number of components in the objective, and T is the total number of iterations. This result shows that after a reasonable number of epochs RandomShuffle is strictly better than SGD (which converges as O(1/T)). The key step toward showing this better dependence on T is the introduction of n into the bound; and as our analysis will show, in general a dependence on n is unavoidable without further changes to the algorithm. We show that for sparse data RandomShuffle has the rate O(1/T^2), again strictly better than SGD. Furthermore, we discuss extensions to nonconvex gradient dominated functions, as well as non-strongly convex settings.

연구 동기 및 목표

• Random Shuffle SGD의 경험적 성능과 수렴 분석 사이의 오랫동안 지속된 이론적 격차를 해소하기 위해.
• 유한하고 합리적인 수의 에포크 이후 Random Shuffle가 표준 SGD보다 엄격히 더 빠르게 수렴함을 증명하기 위해.
• 유한합 문제에서 구성 요소 수 $n$에 명시적으로 의존하는 비점근 수렴 속도를 확립하기 위해.
• $\mathcal{O}(1/T)$ 수렴 속도를 초월하는 데 있어 $n$에 대한 의존성이 불가피함을 보여주기 위해.
• 기울기 지배 조건 하에서 비볼록 함수로의 분석을 확장하고 희소 데이터 환경을 고려하기 위해.

제안 방법

• 강한 볼록성과 리프시츠 헤시안 조건 하에서 Random Shuffle SGD에 대한 비점근 수렴 속도를 유도한다.
• 수렴 상한에서 $n$에 대한 의존성을 포착하는 데 핵심적인 새로운 분석 프레임워크를 도입한다.
• 최적 해와의 제곱 거리에 기반한 재귀 부등식을 사용하고, AM-GM 부등식을 적용하여 Random Shuffle와 SGD를 비교한다.
• 기대 제곱 오차가 $\mathcal{O}(1/T^2 + n^3/T^3)$로 감소함을 입증하며, 희소 설정에서는 더 견고한 상한을 확보한다.
• 기울기 지배 조건을 만족하는 비볼록 함수로 결과를 확장하며, 적응형 스텝 사이즈 $\gamma = \frac{\log T}{\mu T}$ 하에서 $\mathcal{O}(1/T)$ 수렴을 보여준다.
• $T$와 $n$ 사이의 상호 작용을 분석하여, $n$-의존 없이 $\mathcal{O}(1/T^{1+\delta})$ 수렴 속도가 일반적으로 불가능함을 증명한다.

실험 결과

연구 질문

• RQ1 Random Shuffle SGD는 유한한 수의 에포크 이후 표준 SGD보다 빠르게 수렴하는가?
• RQ2 Random Shuffle에 대해 $n$에 대한 의존성을 포착하는 비점근 수렴 속도를 확립할 수 있는가?
• RQ3 희소 데이터 설정에서 $\mathcal{O}(1/T^2)$ 수렴 속도를 달성할 수 있는가?
• RQ4 $\mathcal{O}(1/T)$ 수렴 속도를 초월하기 위해 필요한 최소한의 $n$에 대한 의존성은 무엇인가?
• RQ5 비볼록이고 기울기 지배 조건을 만족하는 함수에서 Random Shuffle의 수렴 행동은 SGD와 어떻게 비교되는가?

주요 결과

• 강한 볼록성과 이阶 미분 가능성을 가정할 때, Random Shuffle SGD는 $\mathcal{O}\bigl(\frac{1}{T^{2}} + \frac{n^{3}}{T^{3}}\bigr)$ 수렴 속도를 보이며, 이는 $T$가 유한할 경우 SGD의 $\mathcal{O}(1/T)$ 수렴 속도보다 엄격히 빠르다.
• 표준 SGD의 $\mathcal{O}(1/T)$ 수렴 속도를 초월하기 위해서는 수렴 상한에서 $n$에 대한 의존성이 불가피하며, 이는 일반적으로 $\mathcal{O}(1/T^{1+\delta})$ 수렴 속도가 불가능함을 의미한다.
• 희소성 수준이 $\rho$인 희소 데이터 환경에서는 수렴 속도가 $\mathcal{O}(1/T^2)$로 향상되며, 이는 SGD의 $\mathcal{O}(1/T)$ 수렴 속도보다 엄격히 빠르다.
• Polyak-Łojasiewicz 조건을 만족하는 비볼록 함수에 대해서는, 적응형 스텝 사이즈 $\gamma = \frac{\log T}{\mu T}$ 하에서 Random Shuffle가 $\mathcal{O}(1/T)$ 수렴을 달성한다.
• Random Shuffle의 기대 제곱 오차가 $\mu_{s(t)}$를 포함하는 항들의 곱으로 유계임을 증명하였으며, 이 곱은 Random Shuffle 샘플링 방식에서 최소화됨을 보였다.
• 이차 함수 $f_i(x) = \frac{\mu_i}{2}\|x - x^*\|^2$에서 등호가 성립함을 보여 이론적 상한의 날카로움을 입증하였다.