[논문 리뷰] AMAGOLD: Amortized Metropolis Adjustment for Efficient Stochastic Gradient MCMC

Ruqi Zhang, A. Feder Cooper외 1명|arXiv (Cornell University)|2020. 02. 29.

Markov Chains and Monte Carlo Methods인용 수 8

한 줄 요약

AMAGOLD는 SGHMC에서 발생하는 편향을 제거하기 위해 메트로폴리스-해스팅스 보정을 드물게 적용하면서도 그 계산 비용을 분산하는 새로운 2차 순차적 확률적 경량 최적화 알고리즘입니다. 고정된 학습률을 사용함에도 불구하고 점근적으로 정확한 샘플링을 달성하며, 전체 배치 기반 기준과 비슷한 수준의 수렴 속도를 확보하여 합성 및 실제 베이지안 추론 작업에서 SGHMC보다 더 뛰어난 안정성과 정확도를 보입니다.

ABSTRACT

Stochastic gradient Hamiltonian Monte Carlo (SGHMC) is an efficient method for sampling from continuous distributions. It is a faster alternative to HMC: instead of using the whole dataset at each iteration, SGHMC uses only a subsample. This improves performance, but introduces bias that can cause SGHMC to converge to the wrong distribution. One can prevent this using a step size that decays to zero, but such a step size schedule can drastically slow down convergence. To address this tension, we propose a novel second-order SG-MCMC algorithm---AMAGOLD---that infrequently uses Metropolis-Hastings (M-H) corrections to remove bias. The infrequency of corrections amortizes their cost. We prove AMAGOLD converges to the target distribution with a fixed, rather than a diminishing, step size, and that its convergence rate is at most a constant factor slower than a full-batch baseline. We empirically demonstrate AMAGOLD's effectiveness on synthetic distributions, Bayesian logistic regression, and Bayesian neural networks.

연구 동기 및 목표

• SGHMC에서 스토하스틱 그래디언트와 고정된 학습률이 유도하는 편향을 해결하여 진정한 사후분포로의 수렴을 가능하게 하기 위해.
• 스토하스틱 그래디언트 MCMC의 계산 효율성을 유지하면서도 점근적 정확성을 보장하기 위해.
• 메트로폴리스-해스팅스 보정을 매 T단계마다만 적용하여 그 계산 부담을 줄이고 비용을 분산시키기 위해.
• 감소하는 학습률이나 정확한 노이즈 분산 추정이 필요 없이도 수렴 속도와 편향 제거에 대한 이론적 보장을 제공하기 위해.
• 합성 분포, 베이지안 로지스틱 회귀, 베이지안 신경망에서 AMAGOLD의 안정성과 성능을 실증적으로 검증하기 위해.

제안 방법

• AMAGOLD는 매 반복이 아닌 매 T단계마다 SGHMC 업데이트 시퀀스에 메트로폴리스-해스팅스 보정을 적용하여 스토하스틱 그래디언트로 인한 편향을 보정합니다.
• 운동량 변수와 에너지 누적기록자를 사용하는 역행성 또는 비역행성 변형 SGHMC를 사용하여 업데이트 동안 에너지 변화를 추적합니다.
• 메트로폴리스-해스팅스 수락 확률은 전체 에너지 차이와 누적된 운동량 항목을 사용하여 계산되며, 이는 세부 균형 조건을 보장합니다.
• 동일한 보정을 T단계 동안 재사용하여 M-H 보정의 비용을 분산시켜 각 반복의 오버헤드를 줄입니다.
• 스펙트럼 갭 기반의 수렴 속도 상한을 도출하여, AMAGOLD의 수렴 속도가 전체 배치 기반 기준과 일정한 요인 내에 있음을 보여줍니다.
• 학습률 감소나 정확한 노이즈 분산 추정이 필요 없어 실용적 사용성 향상

실험 결과

연구 질문

• RQ1 SGHMC에서 메트로폴리스-해스팅스 보정을 드물게 적용함으로써 점근적 정확성을 유지하면서도 금방이 되는 계산 비용을 유발하지 않을 수 있는가?
• RQ2 T단계 동안 메트로폴리스-해스팅스 보정을 분산 적용함으로써 전체 배치 MCMC의 수렴 성질을 유지하면서도 계산 효율성을 확보할 수 있는가?
• RQ3 스토하스틱 그래디언트가 존재하는 상황에서도 AMAGOLD가 전체 배치 HMC와 비슷한 수준의 수렴 속도를 확보할 수 있는가?
• RQ4 특히 학습률 선택에 대한 민감도 측면에서 AMAGOLD는 SGHMC보다 더 뛰어난 안정성을 보이는가?
• RQ5 실제 베이지안 추론 작업, 예를 들어 베이지안 로지스틱 회귀와 베이지안 신경망에서 AMAGOLD는 정확도를 유지하는가?

주요 결과

• AMAGOLD는 고정된 학습률을 사용함에도 불구하고 진정한 사후분포로 수렴하여, 보통 SGHMC에서 편향을 줄이기 위해 사용되는 감소하는 학습률이 필요 없어집니다.
• AMAGOLD의 수렴 속도는 전체 배치 기준과 일정한 요인 내에 제한되어 있어 이론적 효율성을 입증합니다.
• SGHMC보다 학습률 선택에 훨씬 더 뛰어난 안정성을 보이며, 다양한 학습률 범위에서 안정적인 성능을 유지합니다.
• 합성 분포에서 AMAGOLD는 특히 학습률이 최적화되지 않은 경우 SGHMC보다 낮은 KL 발산을 달성합니다.
• 베이지안 로지스틱 회귀와 베이지안 신경망에서 AMAGOLD는 샘플링 정확도와 일반화 성능에서 SGHMC를 능가하며, 실행 시간에서는 전체 배치 기준과 경쟁 가능한 성능을 보입니다.
• AMAGOLD의 M-H 수락 확률은 넓은 범위의 학습률에서 여전히 충분히 높아, 과도한 기각 없이 효과적인 탐색이 가능합니다.