[논문 리뷰] Generalization Error Bounds with Probabilistic Guarantee for SGD in Nonconvex Optimization

Yi Zhou, Yingbin Liang외 1명|arXiv (Cornell University)|2018. 02. 19.

Stochastic Gradient Optimization Techniques참고 문헌 42인용 수 15

한 줄 요약

이 논문은 비볼록 최적화에서 확률적 경사하강법(SGD)의 새로운 일반화 오차 경계를 제안하며, 확률적 경사의 평균 제곱 분산을 분석함으로써 더 날카운 경계를 도출한다. 이 경계는 데이터 레이블 오염의 영향을 반영하며, 확률적 보장 하에 유도되며, 기존의 안정성 기반 접근법에 비해 최적화 동역학과 데이터 분포 특성의 두 가지 요소를 통합함으로써 향상된다.

ABSTRACT

The success of deep learning has led to a rising interest in the generalization property of the stochastic gradient descent (SGD) method, and stability is one popular approach to study it. Existing works based on stability have studied nonconvex loss functions, but only considered the generalization error of the SGD in expectation. In this paper, we establish various generalization error bounds with probabilistic guarantee for the SGD. Specifically, for both general nonconvex loss functions and gradient dominant loss functions, we characterize the on-average stability of the iterates generated by SGD in terms of the on-average variance of the stochastic gradients. Such characterization leads to improved bounds for the generalization error for SGD. We then study the regularized risk minimization problem with strongly convex regularizers, and obtain improved generalization error bounds for proximal SGD. With strongly convex regularizers, we further establish the generalization error bounds for nonconvex loss functions under proximal SGD with high-probability guarantee, i.e., exponential concentration in probability.

연구 동기 및 목표

• 기존의 안정성 기반 일반화 경계가 랜덤 레이블의 영향을 포착하지 못하는 한계를 해결하기 위해.
• 최적화 동역학과 데이터 분포 특성을 모두 통합하는 SGD에 대한 일반화 오차 경계를 개발하기 위해.
• 일반화 오차에 대한 확률적 보장을 제공하여 기대 기반 경계를 초월한 통계적 강건성을 강화하기 위해.
• 강볼록 정규화자와 함께 정규화된 위험 최소화로 분석을 확장하여, 더 나은 일반화 성능을 보여주기 위해.

제안 방법

• 확률적 경사의 평균 제곱 분산에 기반한 새로운 SGD 안정성 분석을 제안하여 최적화 행동과 일반화를 연결한다.
• 확률적 경사의 기대 제곱 노름에 의존하는 일반화 오차 경계를 유도하며, 이는 이전 경계를 향상시킨다.
• 반복 단계에 걸쳐 수축하는 추론을 사용하고, 농도 불등식을 적용하여 일반화 오차에 대한 확률적 경계를 확립한다.
• 강볼록 정규화자를 갖는 프록시멀 SGD를 분석하여, 확률적으로 지수적 농도를 보이며 일반화 경계를 향상시킨다.
• 손실 함수의 매끄럽기 및 리프시츠 연속성 가정을 사용하여 경사 업데이트와 오차 전파를 제어한다.
• 진전을 추적하고 경험적 위험의 기대 감소를 제어하기 위해 잠재 함수 Φ_S(w)를 도입한다.

실험 결과

연구 질문

• RQ1 비볼록 설정에서 SGD의 일반화 오차에 대해 확률적 경사의 평균 제곱 분산은 어떻게 영향을 미치는가?
• RQ2 최적화 동역학과 데이터 분포 특성을 모두 통합함으로써 일반화 경계를 향상시킬 수 있는가?
• RQ3 기존의 안정성 기반 경계는 일반화 성능에 대한 랜덤 레이블의 영향을 설명하지 못하는 이유는 무엇인가?
• RQ4 강볼록 정규화자를 추가하면 비볼록 SGD의 일반화 경계는 어떻게 향상되는가?
• RQ5 기대 기반 경계를 초월한 통계적으로 더 강력한 확률적 일반화 경계를 도출할 수 있는가?

주요 결과

• 제안된 일반화 오차 경계는 확률적 경사의 평균 제곱 분산에 의존하여, 이전 방법보다 더 날카우며 해석이 용이한 경계를 제공한다.
• 경계는 실험적 관찰을 성공적으로 설명한다. 즉, 랜덤 레이블 비율이 증가할수록 일반화 오차가 증가하는 현상은 경사 분산 증가와 관련이 있다.
• 강볼록 정규화자를 갖는 프록시멀 SGD의 경우, 일반화 오차 경계는 확률적으로 지수적 농도를 보이며, 정규화되지 않은 경우에 비해 크게 향상된다.
• 경계는 확률적 보장 하에 성립하여, 기대 기반 경계를 초월한 더 강력한 통계적 신뢰도를 제공한다.
• 경사 우세성 조건 하에서 SGD의 빠른 수렴은 일반화 경계의 향상으로 이어지며, 최적화 속도와 일반화 사이의 상호보완적 관계를 보여준다.