[논문 리뷰] Analysis of Biased Stochastic Gradient Descent Using Sequential Semidefinite Programs

Bin Hu, Peter Seiler외 1명|arXiv (Cornell University)|2017. 11. 03.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 10

한 줄 요약

이 논문은 상대 오차와 절대 오차 모두에 의해 손상되는 경사 하강 업데이트를 갖는 편향된 확률적 경사 하강법(SGD)에 대한 새로운 수렴 분석을 제안한다. 순차적 정재성 프로그래밍을 사용하여 날카운 수렴 한계를 도출한다. 강한 볼록성과 미분 가능성 조건 하에서 상수 단계 크기의 경우 분석적 수렴 한계를 도출하기 위해, 단계 크기 선택, 수렴 속도, 최적화 정확도 및 경사 부정확성에 대한 강건성의 상호작용을 동시에 포괄하는 선형 행렬 부등식(LMI)을 제시한다.

ABSTRACT

We present a convergence rate analysis for biased stochastic gradient descent (SGD), where individual gradient updates are corrupted by computation errors. We develop stochastic quadratic constraints to formulate a small linear matrix inequality (LMI) whose feasible points lead to convergence bounds of biased SGD. Based on this LMI condition, we develop a sequential minimization approach to analyze the intricate trade-offs that couple stepsize selection, convergence rate, optimization accuracy, and robustness to gradient inaccuracy. We also provide feasible points for this LMI and obtain theoretical formulas that quantify the convergence properties of biased SGD under various assumptions on the loss functions.

연구 동기 및 목표

• 편향된 확률적 경사 하강법(SGD)의 수렴 성질을 분석하는 것, 여기서 경사 업데이트는 상대 오차와 절대 오차 모두에 의해 손상된다.
• 단계 크기, 수렴 속도, 최적화 정확도 및 경사 부정확성에 대한 강건성 간의 상호작용을 동시에 포괄하는 통합 프레임워크를 개발하는 것.
• 일반적인 오차 모델 하에서 편향된 SGD의 최악의 경우 수렴 한계를 도출하는 선형 행렬 부등식(LMI)을 제작하는 것.
• 손실 함수의 강한 볼록성과 미분 가능성 조건 하에서 상수 단계 크기의 경우 편향된 SGD의 분석적 수렴 속도 한계를 도출하는 것.
• 시간에 따라 변화하는 단계 크기 정책을 분석하기 위한 순차적 최소화 접근법을 제공하는 것.

제안 방법

• 편향된 SGD의 오차 동역학을 모델링하기 위해 확률적 이차 제약 조건을 제안하여 작은 선형 행렬 부등식(LMI)을 도출한다.
• Schur 보조정리를 사용하여 LMI를 수렴 분석에 적합한 등가 형태로 변환한다.
• 시간에 따라 변화하는 단계 크기 정책을 분석하기 위해 순차적 최소화 전략을 적용한다.
• 수렴 한계의 형태인 $\mathbb{E}\|x_k - x_\star\|^2 \leq \rho^{2k}\mathbb{E}\|x_0 - x_\star\|^2 + H_\star$ 를 유도하며, 여기서 $\rho^2 = 1 - \frac{m^2 - \delta^2\tilde{M}}{m}\alpha + O(\alpha^2)$ 이고 $H_\star = \frac{c^2 + 2\delta^2G^2}{m^2 - \delta^2\tilde{M}} + O(\alpha)$ 이다.
• 상한 수열 $V_k$ 가 고정점 $V_\star$ 로 수렴함을 인도법 기반 증명을 통해 보여 수렴성을 보장한다.
• 순차적 업데이트에서 발생하는 최소화 문제를 해결하기 위해 라그랑주 승수법과 변수 치환을 사용한다.

실험 결과

연구 질문

• RQ1 경사 계산에서 상대 오차와 절대 오차가 동시에 존재할 경우, SGD의 수렴 속도와 최종 최적화 오차에 어떤 영향을 미치는가?
• RQ2 단계 크기, 수렴 속도, 정확도 및 경사 부정확성에 대한 강건성 간의 상호작용을 동시에 포괄할 수 있는 통합 분석 프레임워크를 개발할 수 있는가?
• RQ3 일반적인 오차 모델 $\|e_k\|^2 \leq \delta^2\|u_k\|^2 + c^2$ 하에서 편향된 SGD의 최고로 날카운 최악의 수렴 한계는 무엇인가?
• RQ4 시간에 따라 변화하는 단계 크기 정책을 분석하기 위해 순차적 최소화 접근법을 어떻게 활용할 수 있는가?
• RQ5 강한 볼록성과 미분 가능성 조건 하에서 상수 단계 크기의 경우 편향된 SGD의 분석적 수렴 속도 및 최종 오차 한계는 무엇인가?

주요 결과

• 편향된 SGD의 수렴 속도는 $\rho^2 = 1 - \frac{m^2 - \delta^2\tilde{M}}{m}\alpha + O(\alpha^2)$ 로 특징지어지며, 이는 강한 볼록성 매개변수 $m$, 상대 오차 한계 $\delta$, 경사 노름 한계 $\tilde{M}$ 에 의존한다.
• 최종 최적화 오차는 $H_\star = \frac{c^2 + 2\delta^2G^2}{m^2 - \delta^2\bar{M}} + O(\alpha)$ 로 한정되며, 여기서 $c$ 는 절대 오차 한계이고 $G^2$ 는 경사 노름 상수이다.
• 제안된 LMI 기반 분석 프레임워크는 오차 모델 (1.4)를 만족하는 한, 악성, 랜덤 또는 결정적 경사 오차에 대해 강건한 수렴 한계 유도를 가능하게 한다.
• 순차적 최소화 접근법은 시간에 따라 변화하는 단계 크기 정책을 분석할 수 있게 하며, 상한 수열 $V_k$ 가 고정점 $V_\star$ 로 수렴함을 보장한다.
• 충분히 작은 상수 단계 크기의 경우, 상한 $\hat{U}_k$ 는 $V_\star$ 에 임의로 가까이 만들 수 있으며, 이는 $\lim_{k\to\infty} V_k = V_\star$ 를 보장한다.
• 분석 결과, $\delta > 0$ 인 경우 단계 크기를 줄여도 편향에 의해 유도된 오차를 제거할 수 없음을 드러내며, 경사 부정확성이 존재할 경우 수렴 속도와 최종 정확도 사이의 근본적인 상충 관계를 강조한다.