[논문 리뷰] The Power of Interpolation: Understanding the Effectiveness of SGD in Modern Over-parametrized Learning

Siyuan Ma, Raef Bassily외 1명|arXiv (Cornell University)|2017. 12. 18.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 38

한 줄 요약

이 논문은 과다 매개변수화된 모델에서 소형 배치를 사용하는 확률적 경사 하강법(SGD)이 훈련 데이터를 보간할 때 빠르게 수렴하는 이유를 설명한다. $m^*$이라는 임계 배치 크기 $m^*$를 규명하여, $m \leq m^*$일 경우 SGD의 수렴 속도가 배치 크기와 선형으로 증가하고, $m > m^*$일 경우 성능이 포화 상태에 도달함을 보여준다. 이는 해석 영역에서 전체 경사 하강법 대비 $O(n)$의 계산 가속을 가능하게 한다.

ABSTRACT

In this paper we aim to formally explain the phenomenon of fast convergence of SGD observed in modern machine learning. The key observation is that most modern learning architectures are over-parametrized and are trained to interpolate the data by driving the empirical loss (classification and regression) close to zero. While it is still unclear why these interpolated solutions perform well on test data, we show that these regimes allow for fast convergence of SGD, comparable in number of iterations to full gradient descent. For convex loss functions we obtain an exponential convergence bound for {\it mini-batch} SGD parallel to that for full gradient descent. We show that there is a critical batch size $m^*$ such that: (a) SGD iteration with mini-batch size $m\leq m^*$ is nearly equivalent to $m$ iterations of mini-batch size $1$ (\emph{linear scaling regime}). (b) SGD iteration with mini-batch $m> m^*$ is nearly equivalent to a full gradient descent iteration (\emph{saturation regime}). Moreover, for the quadratic loss, we derive explicit expressions for the optimal mini-batch and step size and explicitly characterize the two regimes above. The critical mini-batch size can be viewed as the limit for effective mini-batch parallelization. It is also nearly independent of the data size, implying $O(n)$ acceleration over GD per unit of computation. We give experimental evidence on real data which closely follows our theoretical analyses. Finally, we show how our results fit in the recent developments in training deep neural networks and discuss connections to adaptive rates for SGD and variance reduction.

연구 동기 및 목표

• 현대의 과다 매개변수화된 학습에서 데이터를 보간하는 모델에서 소형 배치 SGD의 경험적 성공을 설명하기 위해.
• 훈련 손실가 near-zero로 떨어지는 보간 영역에서 소형 배치 SGD의 수렴 속도를 분석하기 위해.
• SGD 효율성에서 선형 스케일링과 포화 행동을 분리하는 임계 배치 크기 $m^*$을 규명하기 위해.
• 수렴 속도와 계산 효율성에 대한 이론적 경계를 제공하여, SGD가 반복 횟수 측면에서 전체 경사 하강법과 동일한 성능을 낼 수 있음을 보여주기 위해.
• 이론적 결과를 딥러닝에서 널리 사용되는 선형 스케일링 규칙과 연결하기 위해.

제안 방법

• 최적 해가 훈련 손실을 0으로 만드는 보간 조건 하에서의 볼록 손실 함수를 분석한다.
• 소형 배치 SGD에 대한 지수 수렴 경계를 유도하여, 배치 크기 $m$과 학습률에 대한 의존성을 보여준다.
• 임계 배치 크기 $m^*$를 $m^* \approx \frac{\lambda_1}{\beta}$로 정의하여 두 영역을 분리한다: 선형 스케일링($m \leq m^*$)과 포화($m > m^*$).
• 과다 매개변수화된 설정에서 수렴 속도를 특성화하기 위해 분산 감소 기법과 헤시안의 스펙트럼 분석을 사용한다.
• 이차 손실 케이스에서 최적의 배치 크기와 학습률에 대한 명시적 표현을 유도한다.
• 커널 방법과 딥러닝을 사용하여 MNIST, TIMIT, HINT-S 데이터셋에서 이론적 예측을 실험적으로 검증한다.

실험 결과

연구 질문

• RQ1 이론적으로 수렴 속도가 느린데도 실무에서 소형 배치 SGD가 전체 경사 하강법을 능가하는 이유는 무엇인가?
• RQ2 과다 매개변수화와 데이터 보간은 빠른 SGD 수렴을 가능하게 하는 데 어떤 역할을 하는가?
• RQ3 SGD 효율성에서 선형 스케일링과 포화 행동의 전이를 결정짓는 임계 배치 크기 $m^*$는 무엇인가?
• RQ4 보간 영역에서 계산 효율성은 배치 크기의 변화에 따라 어떻게 변하는가?
• RQ5 딥러닝에서 널리 사용되는 선형 스케일링 규칙은 보간 설정에서 이론적으로 정당화될 수 있는가?

주요 결과

• 보간 영역에서 볼록 손실 함수에 대해 소형 배치 SGD는 전체 경사 하강법과 유사한 반복 횟수로 지수 수렴을 달성한다.
• 임계 배치 크기 $m^*$가 존재하여, $m \leq m^*$일 경우, 배치 크기 $m$의 SGD는 $m=1$ SGD의 $m$회의 반복과 거의 동일한 성능을 낸다 (선형 스케일링 영역).
• $m > m^*$일 경우, 배치 크기를 늘려도 성능 향상의 효과가 점점 줄어들며, 수렴 속도가 느려지는 포화 영역으로 이어진다.
• 임계 배치 크기 $m^*$는 데이터 크기 $n$과 거의 무관하여, 계산 단위당 전체 경사 하강법 대비 $O(n)$의 가속을 가능하게 한다.
• 이차 손실의 경우 최적의 배치 크기와 학습률에 대한 명시적 공식을 유도하여 이중 영역 행동을 확인한다.
• MNIST, TIMIT, HINT-S에서의 실험 결과는 훈련 오차 프로파일이 이론적 예측과 매우 유사하며, 다양한 커널과 데이터 분포 간 유사한 상대적 효율성을 보여준다.