[논문 리뷰] Generalization Bounds of SGLD for Non-convex Learning: Two Theoretical Viewpoints

Wenlong Mou, Liwei Wang외 2명|arXiv (Cornell University)|2017. 07. 19.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 55

한 줄 요약

이 논문은 비볼록 학습에서 SGLD에 대한 두 가지 알고리즘 의존 일반화 경계를 도출하며, 안정성 및 PAC-Bayesian 접근법을 사용하고, 차원에 명시적으로 의존하지 않고 축적된 스텝 크기에 의존하는 경계를 제시한다.

ABSTRACT

Algorithm-dependent generalization error bounds are central to statistical learning theory. A learning algorithm may use a large hypothesis space, but the limited number of iterations controls its model capacity and generalization error. The impacts of stochastic gradient methods on generalization error for non-convex learning problems not only have important theoretical consequences, but are also critical to generalization errors of deep learning. In this paper, we study the generalization errors of Stochastic Gradient Langevin Dynamics (SGLD) with non-convex objectives. Two theories are proposed with non-asymptotic discrete-time analysis, using Stability and PAC-Bayesian results respectively. The stability-based theory obtains a bound of $O\left(\frac{1}{n}L\sqrt{βT_k} ight)$, where $L$ is uniform Lipschitz parameter, $β$ is inverse temperature, and $T_k$ is aggregated step sizes. For PAC-Bayesian theory, though the bound has a slower $O(1/\sqrt{n})$ rate, the contribution of each step is shown with an exponentially decaying factor by imposing $\ell^2$ regularization, and the uniform Lipschitz constant is also replaced by actual norms of gradients along trajectory. Our bounds have no implicit dependence on dimensions, norms or other capacity measures of parameter, which elegantly characterizes the phenomenon of "Fast Training Guarantees Generalization" in non-convex settings. This is the first algorithm-dependent result with reasonable dependence on aggregated step sizes for non-convex learning, and has important implications to statistical learning aspects of stochastic gradient methods in complicated models such as deep learning.

연구 동기 및 목표

• 확률적 경사 Langevin 동역학(SGLD)이 비볼록 학습에서 일반화에 어떻게 영향을 미치는지 이해한다.
• 두 가지 이론 프레임워크(안정성 및 PAC-Bayesian)를 사용하여 비점근적이고 알고리즘 의존적인 경계를 제공한다.
• 경계가 차원에 독립적일 수 있고 매개변수 노름이 아니라 축적된 스텝 크기에 의존함을 보인다.
• 비볼록성과 확률적 특성이 뚜렷한 딥러닝 학습의 실용적 시사점에 이론을 연결한다.

제안 방법

• 학습 목표를 규제된 경험 위험 F_n(w) = (1/n) sum_i f_i(w) + R(w)로 모델링한다.
• SGLD 업데이트 w_{k+1} = w_k - eta_k g_hat_k(w) + sqrt(2 eta_k / beta) N(0, I_d) 를 분석한다.
• 두 가지 분석 프레임워크를 활용한다: 균일한 안정성(빠른 O(1/n) 속도로)과 PAC- Bayesian 이론(경로에 적응적인 항을 포함해 O(1/√n) 속도로)
• 이산 시간 SGLD를 연속 시간 Langevin 방정식과 그 Fokker-Planck 서술과 연결하여 헬링거 거리를 통한 분포 변화와 KL 발산으로 경계를 결정한다.
• 결과 경계가 매개변수 차원에 독립적이며 축적된 스텝 크기와 궤적을 따라 나타나는 그래디언트 노름에 의존한다는 점을 강조한다.

실험 결과

연구 질문

• RQ1 비볼록 학습 설정에서 SGLD가 일반화 오차에 어떤 영향을 미치는가?
• RQ2 안정성과 PAC-Bayesian 기법을 사용하여 SGLD에 대한 비점근적이고 알고리즘 의존적인 일반화 경계를 얻을 수 있는가?
• RQ3 경계가 모델 차원이나 매개변수 노름이 아니라 축적된 스텝 크기에 의존하는가, 궤적을 따라 나타나는 그래디언트 노름은 그것에 어떤 영향을 주는가?
• RQ4 비볼록 확률적 최적화에서 안정성 기반 경계와 PAC-Bayesian 경계 간의 균형은 무엇인가?

주요 결과

• 안정성 기반 경계는 O(1/n) 속도를 산출하며, L, beta 및 축적된 스텝 크기의 제곱근에 의해 스케일된다.
• PAC-Bayesian 경계는 O(1/√n) 속도를 산출하며, 반복에 걸쳐 지수적으로 감소하는 요소와 궤적을 따라 나타나는 그래디언트 노름에 의존한다.
• 연속 시간 Langevin 분석은 이상화된 경우에 O(L C sqrt(beta T)/(sqrt{2} n)) 경계를 제공하며 축적 시간 T의 역할을 강조한다.
• 이산 시간 SGLD 안정성 분석은 무작위 데이터 샘플링에서 이웃하는 데이터 세트 간의 제곱 헬링거 거리(Hellinger 거리)를 제어할 수 있음을 보여주며 우수한 일반화 경계로 이어진다.
• 경계는 매개변수 공간의 차원이나 매개변수의 노름에 명시적으로 의존하지 않으며, 비볼록 설정에서 “빠른 학습이 일반화를 보장한다”는 직관을 뒷받침한다.