[논문 리뷰] (Non-) asymptotic properties of Stochastic Gradient Langevin Dynamics

Sebastian J. Vollmer, Konstantinos C. Zygalakis외 1명|arXiv (Cornell University)|2015. 01. 02.

Markov Chains and Monte Carlo Methods참고 문헌 1인용 수 29

한 줄 요약

이 논문은 고정 단계 크기를 가진 확률적 경량화 랭지언 다이내믹스(SGLD)의 비점점적 편향과 분산을 분석하며, 명시적인 점점적 편향 전개를 유도하고, 확률적 경량의 분산에서 기인하는 주요 편향을 제거하는 수정된 SGLD(mSGLD)를 제안한다. 유한 시간 경계를 설정하여 편향, 분산, 평균제곱오차(MSE)에 대해 분석하며, mSGLD가 고정밀도 영역에서 표준 SGLD보다 뛰어난 성능을 보이며, 감소하는 단계 크기를 가진 SGLD와 동일한 MSE 감쇠 속도를 달성함을 보여주며, 가우시안 토이 모델을 통해 이론적 검증을 수행한다.

ABSTRACT

Applying standard Markov chain Monte Carlo (MCMC) algorithms to large data sets is computationally infeasible. The recently proposed stochastic gradient Langevin dynamics (SGLD) method circumvents this problem in three ways: it generates proposed moves using only a subset of the data, it skips the Metropolis-Hastings accept-reject step, and it uses sequences of decreasing step sizes. In \cite{TehThierryVollmerSGLD2014}, we provided the mathematical foundations for the decreasing step size SGLD, including consistency and a central limit theorem. However, in practice the SGLD is run for a relatively small number of iterations, and its step size is not decreased to zero. The present article investigates the behaviour of the SGLD with fixed step size. In particular we characterise the asymptotic bias explicitly, along with its dependence on the step size and the variance of the stochastic gradient. On that basis a modified SGLD which removes the asymptotic bias due to the variance of the stochastic gradients up to first order in the step size is derived. Moreover, we are able to obtain bounds on the finite-time bias, variance and mean squared error (MSE). The theory is illustrated with a Gaussian toy model for which the bias and the MSE for the estimation of moments can be obtained explicitly. For this toy model we study the gain of the SGLD over the standard Euler method in the limit of large data sets.

연구 동기 및 목표

• 실제 적용에서 흔한 고정 단계 크기를 사용하는 SGLD의 비점점적 행동을 이해하는 것. 이는 이론적 기초가 감소하는 단계 크기를 전제로 하지만 실무에서는 그렇지 않기 때문이다.
• SGLD의 점점적 편향을 단계 크기와 확률적 경량 추정기의 분산에 따라 명시적으로 기술하는 것.
• 단계 크기의 일차 항까지 확률적 경량의 분산으로 인한 주요 편향을 제거하는 수정된 SGLD(mSGLD)를 유도하는 것.
• SGLD와 mSGLD에 대해 편향, 분산, 평균제곱오차(MSE)의 유한 시간 상한 경계를 설정하는 것.
• 가우시안 토이 모델에서의 해석적 계산과 로지스틱 회귀에서의 수치 시뮬레이션을 통해 이론적 결과를 검증하는 것.

제안 방법

• 단계 크기의 일차 항까지 SGLD의 편향에 대한 점점적 전개를 유도하며, 확률적 경량 추정기의 분산에 대한 의존성을 규명한다.
• 제어 변수 기법을 사용하여 경량 추정기를 조정함으로써 주요 편향을 보정하는 수정된 SGLD(mSGLD)를 제안한다.
• 커플링 및 마틴갈 기법을 사용하여 SGLD와 mSGLD에 대해 편향, 분산, MSE의 유한 시간 상한 경계를 설정한다.
• 일차원 가우시안 위치 모델을 분석하여 표본 평균과 그 모멘트에 대한 정확한 표현식을 도출함으로써, 편향과 MSE의 해석적 검증을 가능하게 한다.
• 고정 단계 크기를 사용한 베이지안 로지스틱 회귀에서 수치 시뮬레이션을 수행하며, 다양한 배치 크기와 반복 횟수에서 SGLD와 mSGLD의 MSE를 비교한다.

실험 결과

연구 질문

• RQ1 고정 단계 크기를 가진 SGLD에서의 점점적 편향의 명시적 형태는 무엇이며, 단계 크기와 경량 분산에 어떻게 의존하는가?
• RQ2 확률적 경량의 분산으로 인한 주요 편향을 제거할 수 있는 수정된 SGLD를 구성할 수 있는가?
• RQ3 SGLD와 mSGLD에 대해 편향, 분산, 평균제곱오차(MSE)의 유한 시간 경계는 무엇인가?
• RQ4 특히 고정밀도 영역과 작은 데이터 배치에서 mSGLD의 성능은 MSE 측면에서 표준 SGLD와 어떻게 비교되는가?
• RQ5 대규모 데이터 근처에서 mSGLD는 감소하는 단계 크기를 가진 SGLD와 동일한 MSE 감쇠 속도를 달성하는가?

주요 결과

• SGLD의 점점적 편향은 확률적 경량 추정기의 분산에 비례하며, 이는 단계 크기에 따라 결정되는 계수를 가진다.
• 제안된 mSGLD는 단계 크기의 일차 항까지 경량 분산으로 인한 주요 편향을 제거함으로써 고정밀도 영역에서 정확도를 향상시킨다.
• 편향, 분산, MSE에 대한 유한 시간 상한 경계가 유도되었으며, 이는 MSE가 감소하는 단계 크기의 SGLD와 동일한 최적의 $ K^{-1/3} $ 속도를 따른다.
• 가우시안 토이 모델에서 시간 평균 추정기의 편향과 MSE에 대한 정확한 표현식이 유도되었으며, 이는 이론적 편향 전개와 MSE 감쇠를 확인한다.
• 로지스틱 회귀에서의 수치 결과는 mSGLD가 배치 크기가 중간($ n=150 $)일 때 SGLD보다 MSE 측면에서 뛰어나지만, 매우 작은 배치($ n=10, 50 $)에서는 성능이 열 劣함을 보이며, 이는 편향과 분산 사이의 상충 관계를 시사한다.
• 대규모 데이터 근처에서 SGLD는 두 번째 모멘트 추정의 계산 복잡도를 $ N $의 거듭제곱만큼 감소시켜 점점하는 MSE를 달성함으로써, 대규모 베이지안 추론에서 계산적 이점을 제공한다.