[논문 리뷰] Langevin Markov Chain Monte Carlo with stochastic gradients

Charles H. Matthews, Jonathan Weare|arXiv (Cornell University)|2018. 05. 22.

Markov Chains and Monte Carlo Methods참고 문헌 23인용 수 5

한 줄 요약

이 논문은 분산 추정치를 사용하여 편향을 줄이고 샘플링 효율성을 향상시키기 위해 확률적 그래디언트를 사용하는 새로운 랭글레인 MCMC 알고리즘인 NOGIN을 제안한다. 이 알고리즘은 스텝사이즈에 대해 2차 편향을 달성하면서도 작은 미니배치에서도 안정성을 유지하여, 가우시안 분포 및 베이지안 로지스틱 회귀 작업에서 기존 방법들을 능가한다.

ABSTRACT

Monte Carlo sampling techniques have broad applications in machine learning, Bayesian posterior inference, and parameter estimation. Often the target distribution takes the form of a product distribution over a dataset with a large number of entries. For sampling schemes utilizing gradient information it is cheaper for the derivative to be approximated using a random small subset of the data, introducing extra noise into the system. We present a new discretization scheme for underdamped Langevin dynamics when utilizing a stochastic (noisy) gradient. This scheme is shown to bias computed averages to second order in the stepsize while giving exact results in the special case of sampling a Gaussian distribution with a normally distributed stochastic gradient.

연구 동기 및 목표

• 대규모 데이터셋에서 MCMC 샘플링의 높은 계산 비용 문제를 해결하기 위해 전체 데이터 그래디언트 대신 확률적 그래디언트를 사용한다.
• 미세한 랭글레인 동역학에서 노이지 그래디언트 추정기로 인한 MCMC 평균의 편향을 줄인다.
• 그래디언트 근사에 대해 작은 미니배치 크기를 사용할 때 샘플링 효율성과 안정성을 향상시킨다.
• 특수한 경우인 정규분포 오차를 가진 가우시안 타겟에서 정확한 샘플링을 유지하는 방법을 개발한다.
• 노이즈를 고려하여 변동-소산 균형을 유지하고 불안정성을 방지하기 위해 그래디언트 공분산을 고려한 실용적인 알고리즘을 제공한다.

제안 방법

• 알려진 공분산을 가진 노이지 그래디언트 추정기와 함께, 미세한 랭글레인 동역학에 대한 새로운 이산화 방법을 제안한다.
• 동역학의 안정성을 높이기 위해 그래디언트 공분산 행렬에 의존하는 감쇠 항을 포함한 수정된 속도 갱신을 도입한다.
• 수치적 안정성을 향상시키기 위해 두 개의 반단계 위치 갱신과 중심 속도 갱신을 포함한 대칭 분할 통합기법을 사용한다.
• 고정 조건을 유지하기 위해 마찰과 스텝사이즈의 쌍곡선 tangent 함수에서 유도된 스케일링 인자를 갖는 노이즈 항을 적용한다.
• 유한한 힘 평가 역사로부터 그래디언트 공분산 행렬을 추정하여 감쇠를 적응적으로 조정한다.
• 노이즈 존재 시 변동-소산 관계를 균형 잡기 위해 속도 갱신에서 전치화 유사 보정을 적용한다.

실험 결과

연구 질문

• RQ1 작은 미니배치에서 안정성을 유지하면서도 스텝사이즈에 대해 2차 편향을 달성할 수 있는 확률적 그래디언트 MCMC 방법이 존재하는가?
• RQ2 그래디언트 공분산을 고려할 경우, 랭글레인 기반 MCMC 샘플러의 정확도와 혼합 시간에 어떤 영향을 미치는가?
• RQ3 그래디언트 노이즈 분산이 확률적 그래디언트 MCMC의 샘플링 효율성과 필요 감쇠에 어떤 영향을 미치는가?
• RQ4 정규분포 오차를 가진 가우시안 타겟에서 샘플링 시 제안된 방법이 정확한 불변 분포를 유지하는가?
• RQ5 실제 베이지안 추론 작업에서 NOGIN 알고리즘이 SGLD, SGNHT, SGHMC 및 mSGLD와 성능 및 안정성 면에서 어떻게 비교되는가?

주요 결과

• NOGIN은 계산된 평균에 대해 스텝사이즈에 대해 2차 편향을 달성하여, 1차 방법 대비 체계적 오차를 크게 줄였다.
• 기타 방법들(예: SGNHT)이 위치 기반 공분산으로 인해 불안정해지는 것과는 달리, NOGIN은 작은 미니배치 크기(예: n=100)에서도 안정적이고 정확하다.
• MNIST에서의 베이지안 로지스틱 회귀 작업에서, NOGIN은 200번의 데이터셋 통과 후 분산 추정 오차 약 1%를 기록하여 SGLD, SGHMC 및 mSGLD를 능가했다.
• 증가된 감쇠가 노이즈에 의해 상쇄되는 바, 단계당 계산 비용이 감소함에 따라 다양한 미니배치 크기에서 일관된 샘플링 효율성을 유지한다.
• 그래디언트 노이즈가 정규분포일 경우, NOGIN은 이차 로그우도 분포에서 타겟 분포를 정확히 샘플링하며 이는 이론적 일致성을 확인한다.
• 고노이즈 영역에서 관찰되는 성능 포화는 과도한 감쇠로 인한 혼합 속도 저하 때문이지만, 이는 힘 평가 비용 감소로 상쇄되어 전체 효율성을 유지한다.