[논문 리뷰] The Impact of the Mini-batch Size on the Variance of Gradients in Stochastic Gradient Descent

X. Qian, Diego Klabjan|arXiv (Cornell University)|2020. 04. 27.

Stochastic Gradient Optimization Techniques참고 문헌 35인용 수 29

한 줄 요약

이 논문은 선형 모델과 두 층으로 이루어진 선형 네트워크에서 SGD의 확률적 경사하강법에서 미니배치 크기가 경사하강의 분산에 미치는 영향을 이론적으로 분석한다. 경사하강의 분산이 더 큰 배치 크기에서 감소함을 증명하며, 이는 상수 항이 없는 1/b에 대한 다항식임을 보이며, 초기 가중치와 경사하강 노름 사이의 재귀적 관계를 제시하여 SGD의 동역학과 일반화 행동에 대한 통찰을 제공한다.

ABSTRACT

The mini-batch stochastic gradient descent (SGD) algorithm is widely used in training machine learning models, in particular deep learning models. We study SGD dynamics under linear regression and two-layer linear networks, with an easy extension to deeper linear networks, by focusing on the variance of the gradients, which is the first study of this nature. In the linear regression case, we show that in each iteration the norm of the gradient is a decreasing function of the mini-batch size $b$ and thus the variance of the stochastic gradient estimator is a decreasing function of $b$. For deep neural networks with $L_2$ loss we show that the variance of the gradient is a polynomial in $1/b$. The results back the important intuition that smaller batch sizes yield lower loss function values which is a common believe among the researchers. The proof techniques exhibit a relationship between stochastic gradient estimators and initial weights, which is useful for further research on the dynamics of SGD. We empirically provide further insights to our results on various datasets and commonly used deep network structures.

연구 동기 및 목표

• 미니배치 크기가 확률적 경사하강법(SGD)에서 경사하강의 분산에 미치는 영향을 이론적으로 분석하는 것.
• 선형 회귀와 두 층으로 이루어진 선형 네트워크에서 경사하강의 분산이 증가하는 배치 크기와 함께 감소함을 입증하는 것.
• 이론적 분석을 뒷받침하기 위해 경사하강 노름과 초기 모델 가중치 사이의 재귀적 관계를 유도하는 것.
• 수렴을 넘어서는 SGD의 동역학을 이해하기 위한 프레임워크를 제공하는 것. 주로 분산과 일반화에 중점을 둔다.
• 다양한 데이터셋과 네트워크 아키텍처에서 이론적 결과를 실증적으로 검증하는 것.

제안 방법

• 표준편차 기반 성질을 활용한 선형 회귀에서 경사하강 추정기의 분산에 대한 이론적 분석.
• 각 SGD 반복에서 경사하강 노름과 초기 가중치 사이의 재귀적 관계 유도.
• L2 손실을 사용하는 두 층으로 이루어진 선형 네트워크에서 경사하강 분산이 1/b에 대한 다항식이며, 비음수 계수를 가짐을 증명.
• 조건부 분산과 모멘트 생성 함수를 사용하여 무작위 샘플링 하에서 경사하강 행동을 특성화.
• 경사하강 동역학의 구조적 유사성에 기반해 결과를 더 깊은 선형 네트워크로 확장.
• 합성 데이터, MNIST, Yelp 데이터셋을 사용한 실증적 검증. 각 설정에 대해 다수의 실행을 통해 통계적 유의성을 확보.

실험 결과

연구 질문

• RQ1 선형 모델에서 미니배치 크기가 증가함에 따라 확률적 경사하강 추정기의 분산이 감소하는가?
• RQ2 두 층으로 이루어진 선형 네트워크에서 경사하강 분산은 미니배치 크기의 기능 형태로 어떻게 표현되는가?
• RQ3 SGD 반복에서 초기 모델 가중치는 경사하강의 노름과 어떻게 관련되어 있는가?
• RQ4 깊은 선형 네트워크에서 경사하강 추정기의 분산은 1/b에 대한 다항식으로 표현될 수 있는가?
• RQ5 더 작은 미니배치 크기로 인해 더 높은 경사하강 분산으로 인해 더 낮은 훈련 손실을 기록하는가?

주요 결과

• 선형 회귀에서, 샘플별 경사하강의 선형 조합의 노름은 미니배치 크기 b에 대해 감소하는 함수이다.
• 정규 분포를 따르는 입력을 가진 L2 손실이 있는 두 층으로 이루어진 선형 네트워크에서, 경사하강 분산은 상수 항이 없는 1/b에 대한 다항식이며, 이는 큰 b에서 감소함을 증명한다.
• 1/b에 대한 다항식의 주계수는 음수가 아니므로, 충분히 큰 배치 크기에서 분산이 단조 감소함을 보장한다.
• 경사하강 노름과 초기 가중치 사이의 재귀적 관계는 초기 조건에 기반해 임의의 반복 단계에서 경사하강 관련 양을 계산할 수 있도록 한다.
• 선형 회귀, 두 층 네트워크, MNIST, XLNet에서의 실증 결과는 더 작은 배치 크기가 더 낮은 훈련 손실과 더 높은 경사하강 분산을 유도함을 확인한다.
• 이론적 프레임워크는 경사하강 분산, 배치 크기, 초기 가중치 간의 구조적 의존성을 드러내며, 향후 SGD 동역학 분석을 지원한다.