[논문 리뷰] SGD Generalizes Better Than GD (And Regularization Doesn't Help)

Idan Amir, Tomer Koren외 1명|arXiv (Cornell University)|2021. 07. 07.

Stochastic Gradient Optimization Techniques인용 수 2

한 줄 요약

이 논문은 확률적 볼록 최적화에서 확률적 경사하강법(SGD)과 전분량 경사하강법(GD) 사이의 기본적인 일반화 갭을 규명한다. SGD는 $\epsilon$ 초과 위험을 $O(1/\epsilon^2)$ 반복 내에 달성하는 반면, GD는 정규화가 있더라도 $\Omega(1/\epsilon^4)$ 반복이 필요하여 SGD의 일반화 성능를 따라잡는다. 이는 SGD의 암묵적 편향이 일반화의 핵심 요소임을 시사한다.

ABSTRACT

We give a new separation result between the generalization performance of stochastic gradient descent (SGD) and of full-batch gradient descent (GD) in the fundamental stochastic convex optimization model. While for SGD it is well-known that $O(1/\epsilon^2)$ iterations suffice for obtaining a solution with $\epsilon$ excess expected risk, we show that with the same number of steps GD may overfit and emit a solution with $\Omega(1)$ generalization error. Moreover, we show that in fact $\Omega(1/\epsilon^4)$ iterations are necessary for GD to match the generalization performance of SGD, which is also tight due to recent work by Bassily et al. (2020). We further discuss how regularizing the empirical risk minimized by GD essentially does not change the above result, and revisit the concepts of stability, implicit bias and the role of the learning algorithm in generalization.

연구 동기 및 목표

• 확률적 볼록 최적화에서 SGD와 GD의 일반화 성능 간 이론적 분리 여부를 규명하는 것.
• 정규화가 GD의 낮은 일반화 성능을 SGD와 비교해 완화할 수 있는지 분석하는 것.
• 특히 GD 대비 SGD의 맥락에서 알고리즘 안정성과 암묵적 편향이 일반화에 미치는 영향을 조사하는 것.
• GD가 경험 리스크를 최소화함에도 불구하고 오버피팅이 발생하는 이유를 명확히 하는 것.

제안 방법

• 독립 동일분포(i.i.d.) 데이터를 가진 확률적 볼록 최적화 모델에서 GD와 SGD의 일반화 오차를 분석한다.
• 손실 함수의 악성 사례 구성 방법을 통해 GD가 $O(1/\epsilon^2)$ 단계 이후에도 일정한 일반화 오차를 보이며 오버피팅됨을 입증한다.
• GD가 $\epsilon$ 초과 위험을 달성하기 위해 $\Omega(1/\epsilon^4)$ 반복이 필요함을 하한선으로 설정하며, 이는 기존 상한선과 일치한다.
• GD의 정규화된 경험 리스크 최소화를 고려하여 정규화가 일반화 갭을 해소하지 못함을 보여준다.
• Bassily 등(2020)의 최근 결과를 활용해 $\Omega(1/\epsilon^4)$ 하한선의 날카로움을 입증한다.
• 알고리즘 안정성과 암묵적 편향의 개념을 재검토하여 SGD가 GD보다 더 잘 일반화되는 이유를 설명한다.

실험 결과

연구 질문

• RQ1 확률적 볼록 최적화에서 GD는 동일한 반복 수 내에서 SGD와 같은 일반화 성능를 달성할 수 있는가?
• RQ2 GD가 SGD의 일반화 오차 $\epsilon$을 따라잡기 위해 필요한 최소 반복 수는 얼마인가?
• RQ3 경험 리스크의 정규화가 SGD와 GD 사이의 일반화 갭을 최소화하는가?
• RQ4 알고리즘 안정성과 암묵적 편향은 GD와 SGD의 일반화 성능에 어떻게 영향을 미치는가?
• RQ5 GD는 경험 리스크를 최소화함에도 불구하고 오버피팅이 발생하는 이유는 무엇인가, 반면 SGD는 잘 일반화되는가?

주요 결과

• SGD는 $O(1/\epsilon^2)$ 반복 내에 $\epsilon$ 초과 기대 위험을 달성하며, 기존 수렴 속도와 일치한다.
• 동일한 반복 수($O(1/\epsilon^2)$)를 거친 GD는 $\Omega(1)$의 일반화 오차를 보이며, 이는 오버피팅을 시사한다.
• GD는 $\epsilon$ 초과 위험을 달성하기 위해 $\Omega(1/\epsilon^4)$ 반복이 필요하며, 최근 상한선과 일치하여 이는 날카로운 하한선임을 입증한다.
• 경험 리스크의 정규화는 GD의 일반화 성능 향상에 기여하지 않으며, SGD와의 갭을 메우지 못한다.
• 일반화 갭은 최적화 동역학이나 안정성 외에 주로 SGD의 암묵적 편향에 기인한다.
• 결과는 알고리즘 선택—특히 SGD 대비 GD의 선택—이 명시적 정규화와 무관하게 일반화에 결정적인 역할을 한다는 점을 부각시킨다.