[논문 리뷰] Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent

Yunwen Lei, Yiming Ying|arXiv (Cornell University)|2020. 06. 15.

Stochastic Gradient Optimization Techniques인용 수 29

한 줄 요약

이 논문은 경계가 없는 기울기와 강한 미끄러움 조건과 같은 제약 조건을 제거하여 확률적 경사 하강법(SGD)의 미세한 안정성 및 일반화 분석을 제시한다. 평균 모델 안정성이라는 새로운 개념을 도입하고, 낮은 노이즈 환경에서 빠른 $O(1/n)$ 일반화 경계를 유도하며, 힌지 손실과 같은 비연속 손실 함수에 대해서도 최적의 경계를 확립한다. 이는 계산과 안정성의 균형을 통해 달성된다.

ABSTRACT

Recently there are a considerable amount of work devoted to the study of the algorithmic stability and generalization for stochastic gradient descent (SGD). However, the existing stability analysis requires to impose restrictive assumptions on the boundedness of gradients, strong smoothness and convexity of loss functions. In this paper, we provide a fine-grained analysis of stability and generalization for SGD by substantially relaxing these assumptions. Firstly, we establish stability and generalization for SGD by removing the existing bounded gradient assumptions. The key idea is the introduction of a new stability measure called on-average model stability, for which we develop novel bounds controlled by the risks of SGD iterates. This yields generalization bounds depending on the behavior of the best model, and leads to the first-ever-known fast bounds in the low-noise setting using stability approach. Secondly, the smoothness assumption is relaxed by considering loss functions with Holder continuous (sub)gradients for which we show that optimal bounds are still achieved by balancing computation and stability. To our best knowledge, this gives the first-ever-known stability and generalization bounds for SGD with even non-differentiable loss functions. Finally, we study learning problems with (strongly) convex objectives but non-convex loss functions.

연구 동기 및 목표

• 기존의 SGD 일반화 분석이 경계가 없는 기울기와 강한 미끄러움 조건과 같은 제약 조건에 의존하는 한계를 극복하기 위해.
• 최적의 모델의 위험도를 중심으로 하여 SGD의 일반화 행동을 더 잘 반영하는 새로운 안정성 측정법인 평균 모델 안정성 개발을 위해.
• 손실 함수의 미끄러움 조건을 허들러 연속성(하위)기울기로 완화함으로써 비연속 손실 함수(예: 힌지 손실)로의 일반화 경계 확장을 위해.
• 일반 손실 함수가 비볼록이지만 전체 목표 함수가 (강한)볼록일 경우, 기존의 안정성 분석이 실패하는 SGD의 알고리즘 안정성 행동을 분석하기 위해.
• 계산 노력과 알고리즘 안정성의 균형을 통해 더 약한 정규성 조건 하에서도 최적의 일반화 경계를 확립하기 위해.

제안 방법

• 경계가 없는 기울기 조건에 의존하지 않고, 경험적 위험에 가중치를 두는 새로운 안정성 측정법인 평균 모델 안정성 도입.
• 손실 함수의 미끄러움 조건을 활용해 평균 모델 안정성과 최적의 모델 위험도를 연결함으로써, 더 탴한 일반화 경계 확보.
• 최적화 오차 분석 도구를 적용하여 경험적 위험의 가중합을 제한함으로써, 최적화 진행이 일반화를 향상시킨다는 것을 보여줌.
• 강한 미끄러움 조건 대신 (하위)기울기의 허들러 연속성을 활용함으로써, 힌지 손실과 같은 비연속 손실 함수의 분석 가능하게 함.
• 목표 함수의 볼록성만 요구하는 새로운 이차 부등식을 개발하여, 기울기 업데이트에서 비확장성 조건이 필요 없도록 함.
• 각 에포크 업데이트를 모델링하고 순열에 대한 균일한 표집을 사용하여 오차 전파를 통제함으로써, 무작위 선택 없이 SGD의 안정성 경계를 확장함.

실험 결과

연구 질문

• RQ1 경계가 없는 기울기 조건을 가정하지 않고도 SGD의 일반화 경계를 도출할 수 있는가?
• RQ2 더 약한 미끄러움 조건 하에서도 힌지 손실과 같은 비연속 손실 함수에 대해 최적의 일반화 경계를 달성할 수 있는가?
• RQ3 개별 손실 함수가 비볼록이지만 전체 목표 함수가 (강한)볼록일 경우, SGD의 알고리즘 안정성은 어떻게 행동하는가?
• RQ4 안정성 기반 분석을 통해 낮은 노이즈 환경에서 $O(1/n)$ 순서의 빠른 일반화 속도를 달성할 수 있는가?
• RQ5 일반화 경계를 탴하게 만들기 위해 계산(반복 횟수)과 안정성 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• 이 논문은 안정성 기반 접근법을 사용하여 낮은 노이즈 환경에서 SGD에 대해 알려진 바 없는 $O(1/n)$ 순서의 빠른 일반화 경계를 처음으로 확립한다.
• 평균 모델 안정성은 기울기의 균일한 경계가 아닌 최적의 모델 위험도에 따라 일반화 경계에 의존하게 한다.
• 허들러 연속성(하위)기울기를 가진 손실 함수의 경우, 힌지 손실과 같은 비연속 손실 함수에 대해서도 $O(n^2)$ 반복을 수행함으로써 최적의 일반화 경계를 달성한다.
• 이전에 표준 문제인 최소 제곱 회귀 분석에서 제외되었던 경계가 없는 기울기 조건이 더 이상 필요 없어짐.
• 목표 함수의 볼록성만을 기반으로 하는 새로운 이차 부등식을 활용함으로써, 비볼록 개별 손실 함수를 가진 (강한)볼록 목표 함수에 대해서도 안정성 분석이 유효하다.
• 무작위 선택 없이 SGD의 경우, 기대 안정성은 단계 크기 거듭제곱의 합과 평균 단계 크기 비례 항의 합으로 제한되며, 변경된 데이터 포인트의 영향력에 대한 명시적 통제가 가능하다.