[논문 리뷰] Data-Dependent Stability of Stochastic Gradient Descent

Ilja Kuzborskij, Christoph H. Lampert|arXiv (Cornell University)|2017. 03. 05.

Stochastic Gradient Optimization Techniques인용 수 64

한 줄 요약

요약: 이 논문은 SGD에 대한 데이터 의존적 안정성의 개념을 도입하고 초기화 및 데이터 분포에 의존하는 일반화 경계를 도출하며, 이는 볼록 및 비볼록 로스 모두에 적용된다.

ABSTRACT

We establish a data-dependent notion of algorithmic stability for Stochastic Gradient Descent (SGD), and employ it to develop novel generalization bounds. This is in contrast to previous distribution-free algorithmic stability results for SGD which depend on the worst-case constants. By virtue of the data-dependent argument, our bounds provide new insights into learning with SGD on convex and non-convex problems. In the convex case, we show that the bound on the generalization error depends on the risk at the initialization point. In the non-convex case, we prove that the expected curvature of the objective function around the initialization point has crucial influence on the generalization error. In both cases, our results suggest a simple data-driven strategy to stabilize SGD by pre-screening its initialization. As a corollary, our results allow us to show optimistic generalization bounds that exhibit fast convergence rates for SGD subject to a vanishing empirical risk and low noise of stochastic gradient.

연구 동기 및 목표

• SGD에 대한 데이터 의존적 안정성 개념을 최악의 경우 분석을 넘어서 동기화하고 형식화한다.
• 초기화 및 데이터 분포에 의존하는 볼록 및 비볼록 설정에서 SGD의 일반화 경계를 도출한다.
• 목적의 저위 위험성과 덜 곡선인 영역에서 시작할 때 안정성이 개선됨을 보여준다.
• 데이터 의존적 프레임워크를 사용하여 낙관적 경bound 및 트랜스퍼 러닝 함의를 입증한다.

제안 방법

• 알고리즘 매개변수와 데이터 분포(ε(θ))에 의존하는 평균 안정성을 정의한다.
• 정리 3: 단계 크기 α_t ~ c/√t인 볼록 로스의 경우 ε(D, w1) 경계가 초기화 위험 및 기울기 잡음 등을 포함하여 도출된다.
• 정리 4: Lipschitz Hessian을 갖는 비볼록 로스의 경우 α_t ~ c/t인 경우 ε(D, w1) 경계가 곡률과 초기화 위험을 포함하도록 도출된다.
• 낙관적 일반화 속도 및 트랜스펀 러닝 가이던스를 보여주는 보조결과가 제공된다.
• 신경망 예제에서 데이터 의존적 경계와 Worst-case 경계의 비교에 대한 경험적 검증을 제시한다.
• 출처 가설이 초기화로 작용하는 HTL(Hypothesis Transfer Learning) 응용을 논의한다.
• 안정성을 개선하고 전이 결과를 향상시키는 바람직한 초기화 선택 방식을 제안한다.

실험 결과

연구 질문

• RQ1 데이터 의존적 안정성 개념으로 SGD 일반화를 분포 비의존적가 아니라 어떻게 한정할 수 있는가?
• RQ2 초기화 위험과 국소 곡률은 볼록 및 비볼록 설정에서 SGD 안정성과 일반화에 어떠한 영향을 미치는가?
• RQ3 데이터 의존적 안정성이 낙관적 빠른 속도로 일반화를 이끌 수 있으며 SGD 초기화의 트랜스퍼 러닝에 정보를 제공하는가?
• RQ4 소스 가설이 SGD를 초기화하는 경우 트랜스퍼 러닝 시나리오는 안정성 경계에 어떤 영향을 주는가?

주요 결과

• 볼록 설정에서 SGD의 안정성 경계는 초기화 위험과 기울기 노이즈에 의존한다.
• 비볼록 설정에서 초기화 곡률(2차 정보)이 일반화 경계에 결정적 영향을 미친다.
• 데이터 의존적 경계가 비볼록 문제에서 경험적 테스트에서 분포 비의존적 경계보다 더 촘촘하다.
• 데이터를 기반으로 한 위험이 없어질 때 낙관적 일반화 경_BOUND와 빠른 속도가 가능하다.
• 원천 가설에서 초기화를 사용해 안정성 경-bound를 최소화하는 원칙적 트랜스러닝 접근법이 제시된다.
• 증거는 SGD가 덜 곡선인 영역에서 더 안정적임을 시사하며, 이는 심층 학습의 관찰과 일치한다.