[논문 리뷰] On Generalization Error Bounds of Noisy Gradient Methods for Non-Convex Learning

Jian Li, Xuanyuan Luo외 1명|arXiv (Cornell University)|2019. 02. 02.

Stochastic Gradient Optimization Techniques참고 문헌 46인용 수 24

한 줄 요약

이 논문은 비볼록 학습에서 노이즈가 있는 경사하강법의 더 낫고 데이터에 의존하는 일반화 오차 경계를 도출하기 위해 PAC-베이지안 이론과 알고리즘 안정성의 조합을 고려한 새로운 베이즈-안정성 프레임워크를 제안한다. SGLD 및 관련 방법에 대해 향상된 경계를 확립하며, 학습 경로 동안의 경험적 제곱 경사도 노름의 합이 실제 레이블과 무작위 레이블을 구분함으로써 일반화 성능과의 연관성을 검증한다.

ABSTRACT

Generalization error (also known as the out-of-sample error) measures how well the hypothesis learned from training data generalizes to previously unseen data. Proving tight generalization error bounds is a central question in statistical learning theory. In this paper, we obtain generalization error bounds for learning general non-convex objectives, which has attracted significant attention in recent years. We develop a new framework, termed Bayes-Stability, for proving algorithm-dependent generalization error bounds. The new framework combines ideas from both the PAC-Bayesian theory and the notion of algorithmic stability. Applying the Bayes-Stability method, we obtain new data-dependent generalization bounds for stochastic gradient Langevin dynamics (SGLD) and several other noisy gradient methods (e.g., with momentum, mini-batch and acceleration, Entropy-SGD). Our result recovers (and is typically tighter than) a recent result in Mou et al. (2018) and improves upon the results in Pensia et al. (2018). Our experiments demonstrate that our data-dependent bounds can distinguish randomly labelled data from normal data, which provides an explanation to the intriguing phenomena observed in Zhang et al. (2017a). We also study the setting where the total loss is the sum of a bounded loss and an additional \ell_2 regularization term. We obtain new generalization bounds for the continuous Langevin dynamic in this setting by developing a new Log-Sobolev inequality for the parameter distribution at any time. Our new bounds are more desirable when the noisy level of the process is not small, and do not become vacuous even when T tends to infinity.

연구 동기 및 목표

• 현대 머신러닝에서 비볼록 최적화에 대해 알고리즘에 의존하는 날카운 경계를 도출하는 데 도전한다.
• 딥 뉴럴 네트워크와 같은 과도하게 파rameter화된 모델에서 일반화를 설명하는 데 한계가 있는 전통적 복잡도 측정법(예: VC 차원)의 한계를 극복한다.
• 노이즈가 있는 경사하강법을 위한 PAC-베이지안 이론과 알고리즘 안정성을 통합하는 통합 프레임워크를 개발한다.
• 데이터에 의존하는 경계가 실제 데이터와 무작위 레이블에서의 학습을 구분할 수 있음을 보여주며, 실질적으로 관찰된 일반화 현상에 대한 설명을 제공한다.
• 연속적인 랭제빈 역학에 대해 ℓ₂ 정규화를 사용한 새로운 로그-소볼레프 부등식을 도출하여 새로운 일반화 경계를 유도한다.

제안 방법

• PAC-베이지안 사전과 알고리즘 안정성을 조합하여 데이터에 의존하는 일반화 경계를 도출하는 베이즈-안정성 프레임워크를 도입한다.
• 스토하스틱 그래디언트 랭제빈 다이내믹스(SGLD)에 이 프레임워크를 적용하여, 학습 경로 동안의 경험적 제곱 경사도 노름의 합에 따라 의존하는 경계를 도출한다.
• 연속적인 랭제빈 역학에 대해 ℓ₂ 정규화가 적용된 경우, 시간에 따라 변화하는 매개변수 분포에 대한 새로운 로그-소볼레프 부등식을 개발한다.
• 학습 중에 효율적으로 경계를 계산하기 위해 경험적 제곱 경사도 노름의 비편향 미니배치 추정치를 사용한다.
• 노이즈 수준 요구 조건을 완화하기 위해 경사도 클리핑을 활용하여 실제 학습 조건 하에서 더 낫고 날카운 경계를 도출한다.
• 실제 데이터와 무작위로 레이블이 부여된 데이터를 사용하여 MNIST와 CIFAR10에서 실험적으로 경계를 검증하여 실제 일반화 오차와의 상관관계를 평가한다.

실험 결과

연구 질문

• RQ1 PAC-베이지안 접근과 안정성 접근를 조합한 새로운 프레임워크가 비볼록이고 노이즈가 있는 경사하강법에 대해 더 낫고 날카운 일반화 경계를 도출할 수 있는가?
• RQ2 제곱 경사도 노름의 합과 같은 데이터에 의존하는 양이 일반화 성능을 얼마나 잘 예측할 수 있는가?
• RQ3 유도된 경계가 Zhang 등(2017a)에서 관찰된 바와 같이 실제 데이터와 무작위 레이블에서의 학습을 구분할 수 있는가?
• RQ4 특히 시간 T가 증가함에 따라 ℓ₂ 정규화가 적용된 연속적인 랭제빈 역학에서 일반화 경계는 어떻게 행동하는가?
• RQ5 노이즈 수준이 작지 않거나 T → ∞일 때에도 이론적 경계가 비어 있지 않고 의미 있는가?

주요 결과

• 제안된 베이즈-안정성 프레임워크는 Mou 등(2018) 및 Pensia 등(2018)의 이전 결과보다 더 낫고 날카운 일반화 경계를 도출한다.
• 경험적 제곱 경사도 노름의 합에 기반한 데이터에 의존하는 경계는 실제 MNIST/CIFAR10 데이터와 무작위로 레이블이 부여된 데이터를 성공적으로 구분하며, 일반화와의 연관성을 뒷받침한다.
• 실험 결과, 학습 정확도가 90%에 도달할 때조차 경계가 작게 유지됨을 확인하여, 초기 학습 단계를 넘어서 일반화 행동을 잘 포착함을 시사한다.
• T → ∞일 때 경계가 비어 있지 않으며, 새로운 로그-소볼레프 부등식 덕분에 노이즈 수준이 중간일 경우 기존 경계보다 유리한 성능을 보인다.
• 경사도 클리핑을 통해 이론적 노이즈 조건이 완화되었고, 경계는 여전히 실제 데이터와 무작위 레이블을 효과적으로 분리함으로써 강건성을 확인한다.
• 100단계 동안의 추정된 경사도 노름의 이동 평균이 경계의 궤적과 잘 일치함을 통해 경계의 안정성과 실용적 유용성을 검증한다.