[논문 리뷰] Non-convex learning via Stochastic Gradient Langevin Dynamics: a nonasymptotic analysis

Maxim Raginsky, Alexander Rakhlin외 1명|arXiv (Cornell University)|2017. 02. 13.

Markov Chains and Monte Carlo Methods참고 문헌 18인용 수 152

한 줄 요약

이 논문은 비볼록 학습에서 SGLD에 대한 유한시간, 비점근적 보장을 제공하며, 이산 업데이트를 Langevin 확산과 연결하고 Wasserstein 기반 분석으로 초과 위험 및 일반화에 대한 경계를 제시한다.

ABSTRACT

Stochastic Gradient Langevin Dynamics (SGLD) is a popular variant of Stochastic Gradient Descent, where properly scaled isotropic Gaussian noise is added to an unbiased estimate of the gradient at each iteration. This modest change allows SGLD to escape local minima and suffices to guarantee asymptotic convergence to global minimizers for sufficiently regular non-convex objectives (Gelfand and Mitter, 1991). The present work provides a nonasymptotic analysis in the context of non-convex learning problems, giving finite-time guarantees for SGLD to find approximate minimizers of both empirical and population risks. As in the asymptotic setting, our analysis relates the discrete-time SGLD Markov chain to a continuous-time diffusion process. A new tool that drives the results is the use of weighted transportation cost inequalities to quantify the rate of convergence of SGLD to a stationary distribution in the Euclidean $2$-Wasserstein distance.

연구 동기 및 목표

• 비볼록 최적화 문제를 동기화하고, 지역 최소점을 벗어나기 위한 노이즈가 있는 실용 알고리즘으로서 SGLD를 연구한다.
• 이산적 SGLD 업데이트를 연속 Langevin 확산에 연결하여 비점근적 분석을 가능하게 한다.
• 경험적 위험과 모집단 위험 모두에 대해 초과 위험에 대한 유한시간 경계를 제공한다.
• 초과 위험을 일반화 오차와 경험적 최적점 간의 차이로 분해하고 각 구성요소를 경계한다.

제안 방법

• SGLD 업데이트 W_{k+1} = W_k - eta g_k + sqrt(2 eta / beta) xi_k 를 연구하는데, 여기서 g_k는 확률적 그래디언트 추정치이다.
• 업데이트를 Langevin 확산의 이산화 dW(t) = -grad F_Z(W(t)) dt + sqrt(2/beta) dB(t) 의 이산화로 모델링한다.
• 가중 운송-비용 불평등을 사용하여 SGLD 이터레이트와 확산 사이의 2-Wasserstein 거리를 상한한다.
• Gibbs 분포에 대한 대 로그-소벨로프 부등식을 확립하여 Wasserstein 거리에서 지수적 수렴을 얻는다.
• 데이터 섭동 하에서 Gibbs 분포의 안정성을 보여 일반화를 균일 안정성 관점으로 제어한다.
• 비점근적 Laplace 근사를 활용하여 Gibbs 샤가 근사적 경험적 최소화자임을 보인다.

실험 결과

연구 질문

• RQ1 비볼록 목적함수에 대해 SGLD가 비점근적 수렴 보장을 달성할 수 있는가?
• RQ2 시간에 따라 SGLD 이터레이트 분포가 2-Wasserstein 거리에서 Gibbs 분포에 얼마나 가까워지는가?
• RQ3 SGLD로 경험적 및 모집단 위험을 최적화할 때 초과 위험의 유한시간 경계는 무엇인가?
• RQ4 이 비볼록 설정에서 Gibbs 분포의 안정성이 일반화와 어떤 관련이 있는가?

주요 결과

• 기대 초과 위험 경계는 특정 스케일링을 갖는 세 항으로 분해된다: 첫 번째 항은 k >= Poly(beta, d, 1/lambda_*) * 1/epsilon^4 및 eta <= (epsilon / log(1/epsilon))^4인 경우 epsilon * Poly(beta, d, 1/lambda_*) 로 스케일링된다.
• 두 번째 항과 세 번째 항은 각각 (beta + d)^2 / (lambda_* n) 및 d log(beta+1) / beta 로 스케일링된다.
• 해석은 이산 SGLD를 Langevin 확산과 연결하고 충분히 큰 beta에서 Gibbs 분포가 경험적 최소점 주위에 집중함을 보인다.
• 단일 좌표 데이터 섭동 하에서 Gibbs 알고리즘에 대한 균일 안정성 경계가 확립되어 일반화 제어가 가능해진다.
• 주요 결과(정리 2.1)는 매끄러움, 소멸성, 그래디언트 오라클 정확도 등을 포함하는 가정하에 유한시간의 비점근적 초과 위험 경계를 제공한다.