[논문 리뷰] On the Convergence of SGD with Biased Gradients

Ahmad Ajalloeian, Sebastian U. Stich|arXiv (Cornell University)|2020. 07. 31.

Stochastic Gradient Optimization Techniques참고 문헌 44인용 수 16

한 줄 요약

이 논문은 편향된 기울기 오라클을 갖는 확률적 경사 하강법(SGD)에 대한 통합 수렴 분석을 제공하며, 편향이 기울기 노름에 대해 유계일 경우 최적해의 근방으로의 수렴이 가능함을 보여준다. 폴리악-로자예프스키 조건(Polyak-Łojasiewicz condition) 하에서 향상된 수렴 속도를 확립하고, 편향이 달성 가능한 정확도와 수렴 속도에 미치는 영향을 정량화하며, 기울기 압축과 제로차수 최적화와 같은 응용을 포함한다.

ABSTRACT

We analyze the complexity of biased stochastic gradient methods (SGD), where individual updates are corrupted by deterministic, i.e. biased error terms. We derive convergence results for smooth (non-convex) functions and give improved rates under the Polyak-Lojasiewicz condition. We quantify how the magnitude of the bias impacts the attainable accuracy and the convergence rates (sometimes leading to divergence). Our framework covers many applications where either only biased gradient updates are available, or preferred, over unbiased ones for performance reasons. For instance, in the domain of distributed learning, biased gradient compression techniques such as top-k compression have been proposed as a tool to alleviate the communication bottleneck and in derivative-free optimization, only biased gradient estimators can be queried. We discuss a few guiding examples that show the broad applicability of our analysis.

연구 동기 및 목표

• 기울기 압축과 제로차수 최적화와 같은 다양한 응용 분야에 걸쳐 편향된 SGD 방법의 분석을 통합하기 위해.
• 편향된 SGD가 진정한 최적해가 아닌 근방으로 수렴하는 조건을 규명하기 위해.
• 비볼록 최적화에서 편향의 크기가 수렴 속도와 최종 정확도에 어떻게 영향을 주는지 정량화하기 위해.
• 부드럽고 비볼록 함수에 대해 폴리악-로자예프스키 조건 하에서 표준 가정보다 향상된 수렴 속도를 제공하기 위해.
• 다양한 분석 결과를 하나의 일반화 가능한 이론적 프레임워크로 통합하기 위해.

제안 방법

• 편향된 기울기 오라클을 갖는 SGD 모델링: $\mathbf{g}_t = \nabla f(\mathbf{x}_t) + \mathbf{b}_t + \mathbf{n}_t$, 여기서 $\mathbf{b}_t$는 결정론적 편향이고 $\mathbf{n}_t$는 평균이 0인 노이즈이다.
• 부드럽고 비볼록 함수에 대해 수렴 분석을 수행하고, 폴리악-로자예프스키(Polyak-Łojasiewicz) 조건 하에서 수렴 속도를 유도한다.
• 상대적 편향 한계를 도입: 진정한 최적해로의 수렴은 $\|\mathbf{b}_t\| \leq \mathcal{O}(\|\nabla f(\mathbf{x}_t)\|)$일 때만 가능하다.
• 편향 크기 $\zeta^2$와 노이즈 분산 $\sigma^2$에 따라 의존하는 수렴 속도를 도출하며, 오차 바닥 수준이 $\sigma^2 + \zeta^2$에 비례함을 보여준다.
• 구체적인 예시에 적용: top-$k$ 및 random-$k$ 기울기 압축, 스무딩을 사용한 제로차수 최적화.
• 이론적 분석과 합성 데이터 및 딥러닝 벤치마크(예: CIFAR-10에서의 ResNet18)에서의 실험적 검증을 통해 예측을 확인한다.

실험 결과

연구 질문

• RQ1 편향된 기울기를 갖는 SGD가 진정한 최적해가 아닌 근방으로 수렴하는 조건은 무엇인가?
• RQ2 비볼록 최적화에서 편향의 크기가 수렴 속도와 최종 달성 가능한 정확도에 어떻게 영향을 주는가?
• RQ3 표준 가정에 비해 폴리악-로자예프스키 조건 하에서 편향된 SGD의 수렴 속도를 향상시킬 수 있는가?
• RQ4 top-$k$ 압축이나 제로차수 추정과 같은 특정 편향된 기울기 방법들이 제안된 프레임워크 하에서 어떻게 행동하는가?
• RQ5 실제 구현에서 노이즈 분산 $\sigma^2$, 편향 $\zeta^2$, 그리고 결과 오차 바닥 수준 사이의 관계는 무엇인가?

주요 결과

• 편향된 기울기를 갖는 SGD는 편향이 기울기 노름에 대해 상대적으로 유계일 경우에만 진정한 최적해로 수렴한다. 즉, $\|\mathbf{b}_t\| \leq \mathcal{O}(\|\nabla f(\mathbf{x}_t)\|)$이다.
• 이 상대적 편향 조건을 위반할 경우, SGD는 해의 근방으로 수렴하며, 오차 바닥 수준은 $\sigma^2 + \zeta^2$에 의해 결정된다.
• 폴리악-로자예프스키 조건 하에서, 표준 SGD의 경계보다 더 날카로운 수렴 속도를 도출한다.
• top-$k$ 및 random-$k$ 기울기 압축의 경우, $k$가 감소할수록 수렴 속도가 느려지며, 동일한 $k$일 때 top-$k$가 random-$k$보다 더 우수한 성능을 보인다.
• 제로차수 최적화에서는 오차 바닥 수준이 $\mathcal{O}(\tau^2)$로 스케일링되며, 이는 이론적 예측과 일치한다.
• ResNet18 학습에 대한 실험 결과는 top-$k$ 압축이 전체 정밀도 SGD와 동일한 최종 오차 바닥 수준을 달성하지만 수렴 속도는 느리며, random-$k$는 압축의 영향을 더 심하게 받는다.