[논문 리뷰] High probability convergence and uniform stability bounds for nonconvex stochastic gradient descent

Liam Madden, Emiliano Dall’Anese외 1명|arXiv (Cornell University)|2020. 06. 10.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 부드러움, Polyak-Łojasiewicz 부등식, 유한한 변동성 가정 하에 비볼록 확률적 경사하강법(SGD)에 대해 높은 확률 수렴성과 균일 안정성 한계를 확립한다. 반복 횟수에 따라 달라지는 한계를 도출하여 수렴성과 일반화의 균형을 이루며, 데이터셋 크기가 증가함에 따라 진짜 위험(true risk)이 사라짐을 보여 이론과 실천을 이어주는 결과를 이룬다.

ABSTRACT

Stochastic gradient descent (with a mini-batch) is one of the most common iterative algorithms used in machine learning. While being computationally cheap to implement, recent literature suggests that it may also have implicit regularization properties that prevent overfitting. This paper analyzes the properties of stochastic gradient descent from a theoretical standpoint to help bridge the gap between theoretical and empirical results; in particular, we prove bounds that depend explicitly on the number of epochs. Assuming smoothness, the Polyak-Łojasiewicz inequality, and the bounded variation property, we prove high probability bounds on the convergence rate. Assuming Lipschitz continuity and smoothness, we prove high probability bounds on the uniform stability. Putting these together (noting that some of the assumptions imply each other), we bound the true risk of the iterates of stochastic gradient descent. For convergence, our high probability bounds match existing expected bounds. For stability, our high probability bounds extend the nonconvex expected bound in Hardt et al. (2015). We use existing results to bound the generalization error using the stability. Finally, we put the convergence and generalization bounds together. We find that for a certain number of epochs of stochastic gradient descent, the convergence and generalization balance and we get a true risk bound that goes to zero as the number of samples goes to infinity.

연구 동기 및 목표

• 비볼록 기계학습 문제에서 확률적 경사하강법(SGD)의 이론적 분석과 실증적 성공 간 격차를 메우기 위해.
• 훈련 반복 횟수에 명시적으로 의존하는 SGD에 대한 높은 확률 수렴 한계를 도출하기 위해.
• 기존의 기대 안정성 한계를 비볼록 환경에서 높은 확률 균일 안정성 한계로 확장하기 위해.
• 수렴성과 일반화 한계를 결합하여 샘플 수가 증가함에 따라 사라지는 진짜 위험 한계를 확립하기 위해.

제안 방법

• SGD 반복의 높은 확률 수렴 속도를 유도하기 위해 부드러움, Polyak-Łojasiewicz(PL) 부등식, 기울기의 유한한 변동성을 활용한다.
• 리프시츠 연속성과 부드러움 가정을 적용하여 SGD에 대한 높은 확률 균일 안정성 한계를 수립한다.
• 균일 안정성 기반 기존의 일반화 오차 한계를 활용하여 안정성과 진짜 위험을 연결한다.
• 반복 횟수의 트레이드오프를 통해 수렴성과 안정성 한계를 결합하여 점차 감소하는 진짜 위험을 달성한다.
• 집중 불등식과 마틴갈 레퍼런스를 활용하여 기대값에만 의존하지 않는 높은 확률 한계를 도출한다.
• 실제 훈련 스케줄을 반영하는 반복 횟수에 의존하는 한계를 도출하여 이론 결과의 실용성과 해석 가능성 향상.

실험 결과

연구 질문

• RQ1 부드러움과 PL 부등식과 같은 표준 가정 하에 비볼록 SGD에 대한 높은 확률 수렴 한계를 도출할 수 있는가?
• RQ2 비볼록 SGD에 대한 높은 확률 균일 안정성 한계는 기존의 기대 안정성 한계와 어떻게 비교되는가?
• RQ3 반복 횟수를 명시적으로 고려할 때 SGD에서 수렴성과 일반화의 상호작용은 어떠한가?
• RQ4 수렴성과 안정성 한계의 조합이 샘플 수가 증가함에 따라 사라지는 진짜 위험 한계를 도출할 수 있는가?
• RQ5 사용된 가정들이 상호로 유도 가능한가? 이는 유도된 한계의 날카로움에 어떤 영향을 미치는가?

주요 결과

• 논문은 기대 한계의 비율를 유지하면서도 확률적 보장을 제공하는 비볼록 SGD에 대한 높은 확률 수렴 한계를 확립한다.
• Hardt 등(2015)의 비볼록 기대 안정성 한계를 유사한 가정 하에 높은 확률 균일 안정성 한계로 확장한다.
• 유도된 수렴성 및 안정성 조건 하에 SGD 반복의 진짜 위험은 유한하며 샘플 수가 증가함에 따라 0으로 감소한다.
• 특정 반복 횟수에서 수렴성과 일반화의 균형이 이루어져 최적의 일반화 성능을 달성한다.
• 유도된 한계는 반복 횟수에 명시적으로 의존하므로 실세계 훈련 스케줄에 더 해석 가능하고 실용적이다.
• 부드러움과 유한한 변동성 등의 가정이 수렴성 및 안정성 결과를 도출하는 데 충분하며, 분석 과정에서 일부 가정이 상호로 유도됨을 보여준다.