[논문 리뷰] Analysis of SGD with Biased Gradient Estimators.

Ahmad Ajalloeian, Sebastian U. Stich|arXiv (Cornell University)|2020. 07. 31.

Stochastic Gradient Optimization Techniques참고 문헌 18인용 수 20

한 줄 요약

이 논문은 편향된 그래디언트 추정기와 함께 확률적 경사하강법(SGD)을 분석하여, 매끄럽고 비볼록 함수에 대해 수렴 속도를 확립하고, Polyak-Lojasiewicz 조건 하에서 향상된 수렴 속도를 도출한다. 편향의 크기가 수렴 정확도와 속도에 어떻게 영향을 미치는지 정량화하며, 분산 학습과 도함수 기반 최적화에서 흔히 사용되거나 선호되는 편향된 업데이트에 적용 가능한 일반적인 프레임워크를 제공한다.

ABSTRACT

We analyze the complexity of biased stochastic gradient methods (SGD), where individual updates are corrupted by deterministic, i.e. biased error terms. We derive convergence results for smooth (non-convex) functions and give improved rates under the Polyak-Lojasiewicz condition. We quantify how the magnitude of the bias impacts the attainable accuracy and convergence rates. Our framework covers many applications where either only biased gradient updates are available or preferred over unbiased ones for performance reasons. For instance, in the domain of distributed learning, biased gradient compression techniques such as top-k compression have been proposed as a tool to alleviate the communication bottleneck and in derivative-free optimization, only biased gradient estimators can be queried. We discuss a few guiding examples that show the broad applicability of our analysis.

연구 동기 및 목표

• 편향된 그래디언트 추정기(비편향이 아닌 경우)를 사용할 때 SGD의 수렴 행동을 분석하는 것.
• 편향의 크기가 최적화 과정에서 수렴 속도와 최종 정확도에 어떻게 영향을 미치는지 정량화하는 것.
• 편향된 SGD에 대해 Polyak-Lojasiewicz(PL) 조건 하에서 향상된 수렴 속도를 제공하는 것.
• 분산 학습에서 압축 기법과 도함수 기반 최적화와 같이 실제 응용 시나리오에 적용 가능한 일반적인 프레임워크를 개발하는 것.
• 편향된 그래디언트 업데이트를 포함한 지침 예시를 통해 분석의 광범위한 적용 가능성을 입증하는 것.

제안 방법

• 분석은 매끄럽고 비볼록 최적화 설정에서 결정적(즉, 편향된) 그래디언트 추정기를 사용하는 SGD에 집중한다.
• 저자는 기대 그래디언트 노름의 수렴 속도를 유도하여 편향의 크기에 의존함을 보여준다.
• 각 업데이트 단계에서 고정된 오차 항으로서 편향을 모델링하는 이론적 프레임워크를 제안한다.
• 수렴 속도 향상을 위해 Polyak-Lojasiewicz(PL) 조건을 분석에 통합한다.
• 예를 들어 분산 시스템에서의 상위-k 그래디언트 압축과 같이 유일하게 편향된 그래디언트 추정기만 이용 가능한 설정에 적용된다.
• 분산 학습과 도함수 기반 최적화의 예를 통해 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 편향된 결정적 그래디언트 추정기가 비볼록 설정에서 SGD의 수렴 속도에 어떻게 영향을 미치는가?
• RQ2 편향된 그래디언트 업데이트 하에서 Polyak-Lojasiewicz 조건이 성립할 경우 어떤 수렴 속도를 달성할 수 있는가?
• RQ3 편향의 크기가 편향된 그래디언트를 갖는 SGD에서 달성 가능한 정확도에 어떻게 영향을 미치는가?
• RQ4 어떤 실질적인 최적화 시나리오에서 편향된 그래디언트 추정기는 반드시 필요하고 동시에 유익한가?
• RQ5 시스템적이고 비랜덤한 오차에 의해 손상된 그래디언트 업데이트가 있는 경우 SGD에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 논문은 매끄럽고 비볼록 함수에서 편향된 그래디언트를 갖는 SGD의 수렴 속도를 확립하여, 수렴이 편향의 크기에 의존함을 보여준다.
• Polyak-Lojasiewicz 조건 하에서는 수렴 속도가 향상되어 목적 함수가 이 정규성 조건을 만족할 경우 더 빠른 수렴이 가능함을 시사한다.
• SGD의 달성 가능한 정확도는 편향의 크기에 직접적인 영향을 받으며, 더 큰 편향은 더 높은 최종 오차 한계를 초래한다.
• 이 프레임워크는 분산 학습에서의 상위-k 그래디언트 압축과 같은 실질적 응용에 적용 가능하며, 이 경우 편향된 업데이트로 통신 비용을 줄일 수 있다.
• 분석은 편향이 유한하고 수렴 분석에 고려된 경우, 편향된 그래디언트 추정기를 최적화에서 신뢰성 있게 사용할 수 있음을 보여준다.
• 결과는 비편향 대안이 계산적으로 비용이 많이 들거나 이용 불가능한 환경에서 편향된 그래디언트 추정기를 사용하는 데 이론적 근거를 제공한다.