[논문 리뷰] Linearly convergent stochastic heavy ball method for minimizing generalization error

Nicolas Loizou, Peter Richtárik|arXiv (Cornell University)|2017. 10. 30.

Stochastic Gradient Optimization Techniques참고 문헌 13인용 수 26

한 줄 요약

이 논문은 일반화 오차를 최소화하기 위한 확률적 중량 이동법(Stochastic Heavy Ball, SHB)을 제안하며, 고정 단계 크기의 확률적 경사 하강법와 동역량을 조합한다. SHB에 대해 기대값 기반으로 처음으로 선형 수렴 속도를 확립하였으며, 정확성 조건 하에서 가속화된 수렴을 달성하였고, 반복 복잡도는 $\mathcal{O}(\sqrt{\lambda_{\max}/\lambda_{\min}^{+}}\log(1/\epsilon))$로 스케일링된다. 실험 결과에서 표준 SGD와 무작위 카츠마르츠 방법보다 뛰어난 성능을 보였다.

ABSTRACT

In this work we establish the first linear convergence result for the stochastic heavy ball method. The method performs SGD steps with a fixed stepsize, amended by a heavy ball momentum term. In the analysis, we focus on minimizing the expected loss and not on finite-sum minimization, which is typically a much harder problem. While in the analysis we constrain ourselves to quadratic loss, the overall objective is not necessarily strongly convex.

연구 동기 및 목표

• 비강한볼록 목적 함수와 고정 단계 크기 조건 하에서도 예상 손실 최소화를 위한 확률적 중량 이동법(SHB)에 대해 첫 번째 선형 수렴 결과를 확립하는 것.
• 일致한 선형 시스템의 확률적 재구성 맥락에서 SHB를 분석하여, 유한합 최소화가 아닌 일반화 오차에 중점을 두는 것.
• L2 및 L1 수렴에 대해 비점근적 수렴 속도를 유도하며, 정확성 조건 하에서 가속화된 속도를 포함하는 것.
• 무작위 카츠마르츠 유형 방법에서 동역량이 수렴 속도를 어떻게 향상시키는지 실증적으로 보여주는 것.

제안 방법

• SHB 방법은 고정 단계 크기 $\omega$와 동역량 파라미터 $\beta$를 사용하여 $x_{k+1} = x_k - \omega \nabla f_{\mathbf{S}_k}(x_k) + \beta(x_k - x_{k-1})$로 반복을 갱신하며, 전체 기울기를 확률적 기울기로 대체한다.
• 이 방법은 $\mathbf{A}x = b$의 확률적 재구성 하에서 분석되며, $f(x) = \mathbb{E}_{\mathbf{S} \sim \mathcal{D}}[\frac{1}{2}\|\mathbf{A}x - b\|_{\mathbf{H}}^2]$로 정의되며, $\mathbf{H}$는 $\mathbf{S}^\top \mathbf{A} \mathbf{A}^\top \mathbf{S}$의 의사역행렬을 통해 정의된다.
• 수렴는 $\nabla^2 f(x) = \mathbf{A}^\top \mathbb{E}_{\mathbf{S} \sim \mathcal{D}}[\mathbf{H}] \mathbf{A}$의 스펙트럼 성질을 이용해 기대값 기반으로 확립되며, 이 행렬의 고유값은 $[0,1]$ 범위에 속한다.
• 분석은 L2 수렴 $\mathbb{E}[\|x_k - x_*\|^2] \to 0$과 L1 수렴 $\|\mathbb{E}[x_k - x_*]\|^2 \to 0$을 구분하며, 후자는 가속화된 선형 수렴 속도를 달성한다.
• 정확성 조건이 없을 경우, $\hat{x}_k = \frac{1}{k}\sum_{t=0}^{k-1} x_t$로 정의되는 세자로 평균을 사용하여 비선형 수렴 속도를 도출한다.
• 만약 $\mathbf{S}$가 표준 기저 벡터일 경우, 이 방법은 동역량이 있는 무작위 카츠마르츠 방법으로 축소되며, 실제 데이터에 대한 실증적 검증이 가능해진다.

실험 결과

연구 질문

• RQ1 확률적 중량 이동법이 비유한합, 비강한볼록 설정에서 일반화 오차 최소화에 대해 기대값 기반으로 선형 수렴을 달성할 수 있는가?
• RQ2 단계 크기 $\omega$와 동역량 $\beta$에 대해 어떤 조건이 예상 반복의 가속화된 선형 수렴을 보장하는가?
• RQ3 실제로 SHB의 수렴 속도는 표준 SGD와 무작위 카츠마르츠 방법보다 어떻게 비교되는가?
• RQ4 정확성 조건이 SHB의 가속화된 수렴을 가능하게 하는 역할은 무엇인가?

주요 결과

• SHB 방법은 $\mathbb{E}[\|x_k - x_*\|^2]$에 대해 전역 비점근적 선형 수렴을 기대값 기반으로 달성하며, 수렴 인자는 $\omega$와 $\beta$에 의존한다.
• 정확성 가정 하에서 예상 반복 $\mathbb{E}[x_k - x_*]$는 수렴률 $\|\mathbb{E}[x_k - x_*]\|^2 \leq \beta^k C$로 선형 수렴하며, $\beta < 1$이다.
• 반복 복잡도는 $\|\mathbb{E}[x_k - x_*]\|^2 \leq \epsilon$일 때 $\mathcal{O}(\sqrt{\lambda_{\max}/\lambda_{\min}^{+}} \log(1/\epsilon))$이며, 이는 가속화된 수렴을 달성한다.
• $\omega = 1$ 및 $\beta = (1 - \sqrt{0.99\lambda_{\min}^{+}})^2$일 경우 복잡도는 $\mathcal{O}(\sqrt{1/\lambda_{\min}^{+}} \log(1/\epsilon))$로 간소화된다.
• 정확성 조건이 없을 경우 세자로 평균 $\hat{x}_k$는 $\mathbb{E}[f(\hat{x}_k)] = \mathcal{O}(1/k)$를 만족하며, 이는 표준 SGD의 속도와 일치한다.
• LIBSVM 데이터에 대한 실증 결과는 동역량이 반복 횟수와 벽시계 시간 양면에서 수렴 속도를 크게 향상시킨다는 것을 보여준다.