[논문 리뷰] A Convergence Analysis for A Class of Practical Variance-Reduction Stochastic Gradient MCMC

Changyou Chen, Wenlin Wang외 3명|arXiv (Cornell University)|2017. 09. 04.

Markov Chains and Monte Carlo Methods참고 문헌 35인용 수 7

한 줄 요약

이 논문은 베이지안 학습에서 확률적 경사 하강법의 노이즈를 줄임으로써 수렴 속도를 향상시키는 분산 감소 확률적 경사 하강 MCMC(vrSG-MCMC) 방법을 제안한다. 실용적이고 계산 비용이 효율적인 분산 감소 기법을 사용함으로써, 특히 제한된 계산 예산 하에서 표준 SG-MCMC보다 더 빠른 평균 제곱오차 감쇠를 달성하며, 로지스틱 회귀, 딥 네ural 네트워크, 시퀀스 모델에서의 실험적 검증을 통해 입증된다.

ABSTRACT

Stochastic gradient Markov Chain Monte Carlo (SG-MCMC) has been developed as a flexible family of scalable Bayesian sampling algorithms. However, there has been little theoretical analysis of the impact of minibatch size to the algorithm's convergence rate. In this paper, we prove that under a limited computational budget/time, a larger minibatch size leads to a faster decrease of the mean squared error bound (thus the fastest one corresponds to using full gradients), which motivates the necessity of variance reduction in SG-MCMC. Consequently, by borrowing ideas from stochastic optimization, we propose a practical variance-reduction technique for SG-MCMC, that is efficient in both computation and storage. We develop theory to prove that our algorithm induces a faster convergence rate than standard SG-MCMC. A number of large-scale experiments, ranging from Bayesian learning of logistic regression to deep neural networks, validate the theory and demonstrate the superiority of the proposed variance-reduction SG-MCMC framework.

연구 동기 및 목표

• 표준 SG-MCMC 알고리즘의 수렴 속도에 미치는 미니배치 크기의 영향을 이론적으로 분석하는 것.
• SG-MCMC에서의 확률적 경사 하강 노이즈에 대한 이론적 이해 부족과 그 수렴에 미치는 영향을 해결하는 것.
• 계산 및 저장 비용 측면에서 효율적인 실용적인 분산 감소 기법을 개발하는 것.
• 제안된 vrSG-MCMC가 표준 SG-MCMC보다 더 빠른 수렴 속도를 보임을 보여주는 이론적 보장을 수립하는 것.
• 다양한 모델과 데이터셋에서 vrSG-MCMC가 표준 SG-MCMC보다 뛰어난 성능을 보임을 실험적으로 검증하는 것.

제안 방법

• 전체 경사 하강 추정치를 주기적으로 갱신하여 확률적 경사 하강의 노이즈를 줄이는 분산 감소 기법을 도입한다.
• 오래된 경사 하강 $ \tilde{g} $ 를 계산하기 위해 크기가 $ n_1 $ 인 미니배치를 사용하여 계산 비용과 분산 감소의 균형을 이룬다.
• 전체 경사 하강의 불편 추정치를 유지하여 표준 SG-MCMC와 동일한 편향 한계를 유지한다.
• 이론적 분석을 통해 vrSG-MCMC가 표준 SG-MCMC보다 더 빠른 수렴 속도를 달성함을 보여주며, 특히 제한된 계산 예산 하에서 뚜렷하다.
• SGLD와 같은 다양한 SG-MCMC 변종에 적용하기 위해 경사 하강 업데이트 규칙을 수정하여 분산 감소된 경사 하강 추정치를 통합한다.
• 단계 크기 감쇠 스케줄과 기울기 클리핑을 사용하여 딥 모델에서의 안정적인 학습을 구현한다.

실험 결과

연구 질문

• RQ1 제한된 계산 예산 하에서, 표준 SG-MCMC의 평균 제곱오차(MSE) 수렴 속도에 미니배치 크기가 어떻게 영향을 미치는가?
• RQ2 SG-MCMC에서의 분산 감소가 표준 SG-MCMC보다 더 빠른 수렴 속도를 보장할 수 있는가?
• RQ3 특히 경사 하강 추정을 위한 미니배치 크기 측면에서, 계산 비용과 분산 감소 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 제안된 vrSG-MCMC는 MLP, CNN, RNN을 포함한 다양한 모델 아키텍처에서 베이지안 학습 과제에서 실제로 어떻게 성능을 발휘하는가?
• RQ5 분산 감소 기법이 표준 SG-MCMC보다 더 매끄러운 학습 곡선과 낮은 테스트 오차 또는 손실을 유도하는가?

주요 결과

• 제한된 계산 예산 하에서, SG-MCMC의 최적 MSE 경계는 전체 경사 하강을 사용할 때 달성되며, 이는 초기 단계에서 확률적 경사 하강 노이즈가 수렴 속도를 저하시킴을 시사한다.
• 큰 계산 예산 하에서는 장기적으로 크기가 1인 미니배치가 바람직한데, 이는 후반 단계에서 노이즈가 유리할 수 있음을 시사한다.
• MNIST와 CIFAR-10에서 vrSG-MCMC는 표준 SGLD보다 훨씬 더 빠른 수렴 속도를 보이며, 더 적은 데이터 통과 횟수 후에 낮은 테스트 오차와 손실을 기록한다.
• PTB와 WikiText-2 데이터셋에서 vrSG-MCMC는 SGLD보다 더 빠르게 수렴하고, 퍼플렉서티 측면에서 더 매끄러운 학습 곡선을 생성한다.
• 모델 성능은 $ n_1 $ 의 선택에 대해 뛰어난 내성성을 보이며, $ n_1 = 200 $ 일 때 전체 배치 경사 하강과 유사한 성능을 기록함으로써, 양호한 성능을 위해 큰 미니배치가 반드시 필요하지 않음을 시사한다.
• 특히 ResNet과 같은 더 깊은 모델에서는 vrSG-MCMC의 학습 곡선이 SGLD보다 훨씬 더 덜 노이즈가 있으며, 기울기 분산 감소로 인해 기인한다.