[논문 리뷰] SGD with shuffling: optimal rates without component convexity and large epoch requirements

Kwangjun Ahn, Chulhee Yun외 1명|arXiv (Cornell University)|2020. 06. 12.

Stochastic Gradient Optimization Techniques참고 문헌 12인용 수 11

한 줄 요약

이 논문은 개별 성분 함수의 볼록성 조건을 필요로 하지 않고, 무작위 셔플링(RandomShuffle)과 싱글셔플(SingleShuffle)을 포함한 교체 없음 확률적 경사하강법(Without-replacement SGD)에 대해 최소최대 최적 수렴 속도를 확립한다. 이는 이전 연구에서 흔히 요구되던 큰 에포크 수 요구 조건을 제거하고 성분 함수의 볼록성에 의존하지 않음으로써, 특히 강볼록 및 기울기 지배 설정 하에서 날카운 수렴 한계를 도출한다. 이는 다항로그 인자까지 최적임을 보여주는 날카운 수렴 한계를 달성한다.

ABSTRACT

We study without-replacement SGD for solving finite-sum optimization problems. Specifically, depending on how the indices of the finite-sum are shuffled, we consider the RandomShuffle (shuffle at the beginning of each epoch) and SingleShuffle (shuffle only once) algorithms. First, we establish minimax optimal convergence rates of these algorithms up to poly-log factors. Notably, our analysis is general enough to cover gradient dominated nonconvex costs, and does not rely on the convexity of individual component functions unlike existing optimal convergence results. Secondly, assuming convexity of the individual components, we further sharpen the tight convergence results for RandomShuffle by removing the drawbacks common to all prior arts: large number of epochs required for the results to hold, and extra poly-log factor gaps to the lower bound.

연구 동기 및 목표

• 실제로 널리 사용되지만 이론적으로 이해가 덜 된 교체 없음 SGD, 특히 RandomShuffle와 SingleShuffle의 이론적 분석 격차를 메우기.
• 개별 성분 함수 $f_i$의 볼록성 조건 없이 이러한 셔플링 기반 SGD 변종에 대해 최소최대 최적 수렴 속도를 도출하기.
• 이전 분석에서 자주 나타나는 큰 에포크 수 요구 조건 ($K \gtrsim \kappa^\alpha$)을 제거하여 $K \geq 1$에서도 유효한 날카운 수렴 한계를 확보하기.
• 강볼록 성분 함수 하에서 RandomShuffle의 수렴 결과를 향상시켜 추가적인 다항로그 인자와 유한 반복값 가정을 제거하기.
• 강볼록 및 이차 목표 함수 하에서 SingleShuffle에 대해 알려진 하한과 일치하는 날카운 수렴 한계를 확립하기.

제안 방법

• 셔플링 기반 SGD에서 오차 전파를 제어하기 위해 재귀 부등식과 곱 상한 기반의 새로운 분석 프레임워크를 제안한다.
• 조화수 유사 합과 지수 감쇠 성질을 활용하여 예상 부분최적성의 상한을 도출하기 위해 재귀적 상한 기법을 사용한다.
• 수열 $a_j$와 $b_j$에 대한 곱 추정을 적용하여 오차 항의 진화를 제어하며, 로그 인자에 대한 세심한 처리를 수행한다.
• 셔플링의 의존성 구조를 정교하게 분석하여 i.i.d. 가정을 피하고, 교체 없음 순차적 샘플링을 고려한다.
• 역미분 근사(Proposition 20를 통한)를 활용하여 $k_0 + nk$의 거듭제곱을 포함하는 합을 상한화함으로써 점근적 제어를 정밀하게 수행한다.
• Rajput 등 [17] 및 Safran과 Shamir [20]에서 알려진 하한과 일치시켜 다항로그 인자까지 최적임을 보이는 상한을 도출한다.

실험 결과

연구 질문

• RQ1 개별 성분 함수의 볼록성 조건 없이 RandomShuffle 및 SingleShuffle SGD에 대해 최적 수렴 속도를 확립할 수 있는가?
• RQ2 이전 연구에서 나타나는 큰 에포크 수 요구 조건 ($K \gtrsim \kappa^\alpha$)을 제거하여 $K \geq 1$에서도 유효한 날카운 수렴 한계를 확보할 수 있는가?
• RQ3 강볼록 목표 함수 하에서 RandomShuffle의 수렴 속도를 알려진 하한과 비교해 더 날카럽게 개선할 수 있는가? (추가 다항로그 인자 제거)
• RQ4 SingleShuffle 분석이 이차 목표 및 강볼록 설정에서 알려진 하한과 일치하는 날카운 수렴 속도를 달성하는가?
• RQ5 볼록 성분 함수 하에서 RandomShuffle의 수렴 분석에서 유한 반복값 가정(A1)을 제거할 수 있는가?

주요 결과

• 논문은 개별 성분 함수 $f_i$의 볼록성 조건 없이도 RandomShuffle 및 SingleShuffle SGD에 대해 다항로그 인자까지 최적임을 보이는 최소최대 수렴 속도를 확립한다.
• 강볼록 목표 함수와 매끄러운 성분 함수 하에서 RandomShuffle에 대해 $K \geq 1$일 때 $O\left(\frac{1}{nK^2}\right)$ 수렴 속도를 달성하며, 이는 $K \gtrsim \kappa^2$ 또는 $K \gtrsim \kappa$ 요구 조건이 필요 없음을 의미한다.
• RandomShuffle의 가장 날카운 수렴 한계에서 유한 반복값 가정(A1)을 제거함으로써 이전 연구에서 요구했던 조건을 초월한다.
• 강볼록 이차 목표 함수 하에서 SingleShuffle에 대해 $O\left(\frac{1}{(nK)^2} + \frac{1}{nK^3}\right)$를 달성하며, 이는 알려진 하한 $\Omega\left(\frac{1}{(nK)^2} + \frac{1}{nK^3}\right)$과 상수 인자까지 일치한다.
• 수렴 결과는 기울기 지배 비볼록 함수에 대해서도 유효하며, 볼록 또는 강볼록 설정을 초월한다. 이는 다항로그 인자까지 최적임을 의미한다.
• 이론적 분석 프레임워크는 교체 없음 샘플링의 의존성 구조를 잘 다루며, 날카운 재귀 상한과 곱 추정을 도출함으로써 더 날카운 수렴 제어를 가능하게 한다.