[논문 리뷰] Stochastic Gradient Descent, Weighted Sampling, and the Randomized Kaczmarz algorithm

Deanna Needell, Nathan Srebro외 1명|arXiv (Cornell University)|2013. 10. 21.

Stochastic Gradient Optimization Techniques참고 문헌 40인용 수 33

한 줄 요약

이 논문은 중요도 샘플링(가중치 샘플링)을 통해 미분 가능하고 강력한 볼록 문제에 대한 확률적 경사 하강법(SGD)의 수렴 보장을 더욱 강화한다. 기존의 조건수 $L/\mu$에 대한 제곱 의존성 대비 선형 의존성을 보여주며, 랜덤화된 카츠마르츠 알고리즘과의 연결을 통해 개선된 수렴 속도를 확보하고, 부분적으로 편향된 샘플링을 사용하는 수정된 카츠마르츠 방법을 제안하여 진정한 최소 제곱 해로의 지수적 수렴을 달성한다.

ABSTRACT

We obtain an improved finite-sample guarantee on the linear convergence of stochastic gradient descent for smooth and strongly convex objectives, improving from a quadratic dependence on the conditioning $(L/μ)^2$ (where $L$ is a bound on the smoothness and $μ$ on the strong convexity) to a linear dependence on $L/μ$. Furthermore, we show how reweighting the sampling distribution (i.e. importance sampling) is necessary in order to further improve convergence, and obtain a linear dependence in the average smoothness, dominating previous results. We also discuss importance sampling for SGD more broadly and show how it can improve convergence also in other scenarios. Our results are based on a connection we make between SGD and the randomized Kaczmarz algorithm, which allows us to transfer ideas between the separate bodies of literature studying each of the two methods. In particular, we recast the randomized Kaczmarz algorithm as an instance of SGD, and apply our results to prove its exponential convergence, but to the solution of a weighted least squares problem rather than the original least squares problem. We then present a modified Kaczmarz algorithm with partially biased sampling which does converge to the original least squares solution with the same exponential convergence rate.

연구 동기 및 목표

• 부드럽고 강력한 볼록 목적 함수에 대해 유한 샘플 수렴 속도를 향상시키는 것.
• 표준 균일 샘플링을 초월해 수렴을 더욱 향상시키기 위해 중요도 샘플링(가중치 샘플링)이 필수적임을 보여주는 것.
• SGD와 랜덤화된 카츠마르츠 알고리즘 사이의 공식적 연결을 수립하여 두 방법 간의 통찰을 공유하는 것.
• 진정한 최소 제곱 해로의 지수적 수렴을 보장하는 부분적으로 편향된 샘플링을 사용하는 수정된 카츠마르츠 알고리즘을 개발하는 것.
• 이터레이션 복잡도에 대해 이전보다 더 날카로운 이론적 경계를 제공하여, 이는 $L/\mu$에 대해 선형 의존성으로 표현된다.

제안 방법

• 랜덤화된 카츠마르츠 알고리즘을 가중치 최소 제곱 목적 함수에 대한 SGD의 한 예로 재구성한다.
• 행의 노름(또는 리프시츠 상수)에 기반해 샘플링 분포를 재가중하여 중요도 샘플링을 도입함으로써 기울기 추정의 분산을 최소화한다.
• 가중치 샘플링 하에서 SGD의 수렴을 분석하여 조건수 $L/\mu$에 대해 선형 의존성을 가지는 경계를 유도한다.
• 원래 최소 제곱 해로 수렴하도록 보장하는 부분적으로 편향된 샘플링을 사용하는 수정된 카츠마르츠 방법을 제안한다.
• SGD와 카츠마르츠 간의 연결을 활용하여 수렴 보장을 이전하고, 적절한 샘플링 조건 하에서 두 방법 모두 지수적 수렴을 증명한다.
• 기대 최적성 이격도 $\mathbb{E}\|\mathbf{x}_k - \mathbf{x}_\star\|^2$ 에 대한 이론적 경계를 수립하여 $1/\varepsilon$에 대해 로그적으로 척도가 조정됨을 보여준다.

실험 결과

연구 질문

• RQ1 부드럽고 강력한 볼록 문제에 대한 SGD의 수렴 속도는 기존의 $ (L/\mu)^2 $ 의존성보다 조건수에 대해 더 향상시킬 수 있는가?
• RQ2 중요도 샘플링(가중치 샘플링)은 균일 샘플링을 초월해 SGD의 수렴을 어떻게 향상시키는가?
• RQ3 랜덤화된 카츠마르츠 알고리즘은 어떻게 SGD의 한 형태로 재해석될 수 있으며, 이를 통해 기존의 SGD 수렴 이론을 활용할 수 있는가?
• RQ4 비균일 샘플링 하에서도 지수적 수렴을 유지하면서 진정한 최소 제곱 해로 수렴하는 카츠마르츠 변형을 설계할 수 있는가?
• RQ5 SGD의 수렴 속도는 평균 부드러움에 의존하는가, 아니면 최악의 경우 부드러움에 의존하는가? 그리고 중요도 샘플링은 이에 어떻게 영향을 미치는가?

주요 결과

• 논문은 SGD의 수렴 속도에서 조건수 $L/\mu$에 대해 선형 의존성을 확립하여 이전의 제곱 의존성 $(L/\mu)^2$ 을 향상시켰다.
• 샘플링 분포를 재가중하는 중요도 샘플링은 평균 부드러움 $\mathbb{E}[L_i^2]$ 에 대해 선형 의존성을 가지는 수렴 경계를 도출하여 이전 결과를 초월한다.
• 랜덤화된 카츠마르츠 방법은 가중치 최소 제곱 문제에 대한 SGD의 한 예로 재해석되어 가중치 해로의 지수적 수렴을 도출할 수 있다.
• 부분적으로 편향된 샘플링을 사용하는 수정된 카츠마르츠 알고리즘을 제안하여 원래 최소 제곱 해로의 지수적 수렴을 달성한다.
• 수치 실험을 통해 행의 노름이 다양할 경우 가중치 샘플링($\lambda = 0$)이 균일 샘플링($\lambda = 1$)보다 성능이 뛰어나며, 특히 고노이즈 환경에서 두드러진다.
• 저노이즈 및 잘 조절된 설정에서는 순수 가중치 샘플링이 최적이나, 중간 노이즈 및 고노이즈 환경에서는 중간 샘플링($\lambda \in (0,1)$)이 가장 우수한 성능을 보이며, 이는 이론적 수렴 속도와 초기 오차 간의 트레이드오���을 검증한다.