[논문 리뷰] The True Cost of Stochastic Gradient Langevin Dynamics

Tigran Nagapetyan, A. Duncan외 4명|arXiv (Cornell University)|2017. 06. 08.

Markov Chains and Monte Carlo Methods참고 문헌 8인용 수 32

한 줄 요약

이 논문은 증가하는 데이터셋을 가진 강한 로그-볼록 모델에서 Stochastic Gradient Langevin Dynamics (SGLD)의 계산 비용을 분석하며, 주어진 정확도에 대해 부분 샘플링이 계산 비용의 스케일링을 향상시키지 못함을 보여준다. 비록 확률적 그래디언트를 사용하지만 SGLD의 평균제곱오차(MSE)는 전체 그래디언트 옐러 해석과 유사하게 스케일링되며, 비용을 크게 줄이기 위해서는 제어 변수 기법이 필요하다. 이는 대규모 데이터 환경에서 SGLD가 계산적 이점을 제공한다는 가정을 도전한다.

ABSTRACT

The problem of posterior inference is central to Bayesian statistics and a wealth of Markov Chain Monte Carlo (MCMC) methods have been proposed to obtain asymptotically correct samples from the posterior. As datasets in applications grow larger and larger, scalability has emerged as a central problem for MCMC methods. Stochastic Gradient Langevin Dynamics (SGLD) and related stochastic gradient Markov Chain Monte Carlo methods offer scalability by using stochastic gradients in each step of the simulated dynamics. While these methods are asymptotically unbiased if the stepsizes are reduced in an appropriate fashion, in practice constant stepsizes are used. This introduces a bias that is often ignored. In this paper we study the mean squared error of Lipschitz functionals in strongly log- concave models with i.i.d. data of growing data set size and show that, given a batchsize, to control the bias of SGLD the stepsize has to be chosen so small that the computational cost of reaching a target accuracy is roughly the same for all batchsizes. Using a control variate approach, the cost can be reduced dramatically. The analysis is performed by considering the algorithms as noisy discretisations of the Langevin SDE which correspond to the Euler method if the full data set is used. An important observation is that the 1scale of the step size is determined by the stability criterion if the accuracy is required for consistent credible intervals. Experimental results confirm our theoretical findings.

연구 동기 및 목표

• 대규모 데이터셋에서 평균제곱오차(MSE) 정확도에 비례하여 SGLD의 계산 비용을 정량화하는 것.
• SGLD와 같은 확률적 그래디언트 방법이 대규모 데이터 근처에서 전체 그래디언트 MCMC보다 진정으로 계산적 이점을 제공하는지 조사하는 것.
• 상수 스텝사이즈와 부분 샘플링이 강한 로그-볼록 사후 모델에서 편향과 MSE에 미치는 영향을 검토하는 것.
• SGLD의 경험적 성공이 충실한 사후 샘플링 때문인지, 아니면 확률적 그래디언트 하강법과 유사한 평균화 효과 때문인지 평가하는 것.
• 제어 변수가 정확도를 유지하면서 계산 비용을 줄이는 데 어떤 역할을 하는지 탐색하는 것.

제안 방법

• SGLD를 랭지에빈 SDE의 노이즈 있는 옐러 해석으로 분석하며, 전체 그래디언트 옐러 방법과 비교한다.
• 독립 동일분포(i.i.d.) 데이터를 가진 강한 로그-볼록 모델에서 리프시츠 함수 기능에 대한 MSE 이론적 경계를 유도한다.
• 데이터 크기 N, 배치 크기, 스텝사이즈에 따른 MSE 스케일링을 분석하기 위해 가우시안 토이 모델을 사용한다.
• SGLD 추정기에서 분산과 계산 비용을 줄이기 위해 제어 변수 기법을 적용한다.
• 가우시안 모델과 로지스틱 회귀에서 수치 실험을 수행하여 이론적 결과를 검증한다.
• 고정된 계산 비용 조건에서 SGLD를 전체 그래디언트 MCMC 및 확률적 그래디언트 HMC와 비교한다.

실험 결과

연구 질문

• RQ1 고정된 목표 MSE 정확도에서 SGLD의 부분 샘플링이 데이터 크기 N에 따른 계산 비용의 스케일링을 향상시키는가?
• RQ2 고정된 배치 크기에서 SGLD의 편향을 제어하기 위해 필요한 스텝사이즈는 무엇이며, 이는 계산 비용에 어떻게 영향을 미치는가?
• RQ3 대규모 N 근처에서 SGLD의 MSE는 전체 그래디언트 옐러 해석과 비교해 어떻게 되는가?
• RQ4 제어 변수 기법이 목표 정확도를 유지하면서 SGLD의 계산 비용을 크게 줄일 수 있는가?
• RQ5 기계학습에서 SGLD의 뛰어난 경험적 성능은 충실한 사후 샘플링 때문인지, 아니면 확률적 그래디언트 하강법과 유사한 평균화 효과 때문인가?

주요 결과

• 고정된 배치 크기에서 SGLD의 편향을 제어하기 위해 필요한 스텝사이즈는 O(N⁻²)로 스케일링되며, 이는 전체 그래디언트 방법과 유사한 계산 비용을 초래한다.
• 부분 샘플링은 데이터 크기 N에 따른 계산 비용의 스케일링을 향상시키지 못한다; SGLD는 MSE 스케일링 측면에서 전체 그래디언트 옐러 해석에 대해 점근적 이점이 없다.
• 수치 실험 결과, 동일한 배치 크기와 스텝사이즈를 가진 고정된 계산 비용 조건에서 다양한 데이터 크기에서 RMSE가 일정하게 유지됨을 확인했다.
• 제어 변수 기법은 계산 비용을 크게 줄이며, 이는 SGLD의 실용적 효율성에 필수적임을 시사한다.
• SGLD의 성능은 충실한 사후 샘플링보다는 확률적 그래디언트 하강법과 유사한 평균화 효과 때문일 가능성이 더 크다.
• 결과적으로 대규모 데이터 환경에서 SGLD의 계산 비용은 편향을 제어하기 위해 매우 작은 스텝사이즈가 필요하기 때문에 지배되며, 이는 스케일링 이점의 제한을 초래한다.