[논문 리뷰] Large-Scale Distributed Bayesian Matrix Factorization using Stochastic Gradient MCMC

Sungjin Ahn, Anoop Korattikara외 3명|arXiv (Cornell University)|2015. 03. 05.

Markov Chains and Monte Carlo Methods참고 문헌 24인용 수 10

한 줄 요약

이 논문은 확률적 그래디언트 마르코프 체인 몬테카를로(SGMCMC)를 사용하는 확장 가능한 분산 베이지안 행렬 분해 방법인 DSGLD를 제안한다. 이 방법은 베이지안 추론의 예측 정확성과 확률적 그래디언트 하강법의 효율성을 결합한다. 여러 체인과 데이터 블록 간에 비동기 업데이트를 활용함으로써 DSGLD는 감마 샘플링 수준의 정확도를 10배 빠르게 달성하고, 넷플릭스에서 RMSE를 4.1% 감소시키며, 야후 뮤직에서 1.8% 향상시킨다.

ABSTRACT

Despite having various attractive qualities such as high prediction accuracy and the ability to quantify uncertainty and avoid over-fitting, Bayesian Matrix Factorization has not been widely adopted because of the prohibitive cost of inference. In this paper, we propose a scalable distributed Bayesian matrix factorization algorithm using stochastic gradient MCMC. Our algorithm, based on Distributed Stochastic Gradient Langevin Dynamics, can not only match the prediction accuracy of standard MCMC methods like Gibbs sampling, but at the same time is as fast and simple as stochastic gradient descent. In our experiments, we show that our algorithm can achieve the same level of prediction accuracy as Gibbs sampling an order of magnitude faster. We also show that our method reduces the prediction error as fast as distributed stochastic gradient descent, achieving a 4.1% improvement in RMSE for the Netflix dataset and an 1.8% for the Yahoo music dataset.

연구 동기 및 목표

• 비용이 많이 드는 MCMC 추론으로 인해 대규모에서의 베이지안 행렬 분해(BMF)가 계산적으로 불가능한 문제를 해결한다.
• 전통적인 MCMC 방법이 분산 환경에서 전체 사후 분포 샘플링이 매우 느리기 때문에 이를 극복한다.
• 확률적 그래디언트 하강법의 효율성과 베이지안 추론의 불확실성 측정 및 과적합 제어 기능을 통합한다.
• 최소한의 통신과 비동기 업데이트를 통해 대규모 추천 시스템에서 확장 가능한 분산 사후 샘플링을 가능하게 한다.
• 단일 체인 MCMC보다는 더 높은 예측 정확도를 확보하면서도, 확률적 최적화 방법의 속도를 유지한다.

제안 방법

• 소규모 사용자-아이템 평점 미니배치를 사용해 분산형 블록 기반 행렬 분해 환경에 확률적 그래디언트 랭귀안 역학(SGLD)을 적용한다.
• 각 워커가 사용자 또는 아이템의 블록에 해당하는 파라미터(U와 V)의 일부만 업데이트하도록 평점 행렬을 워커 간에 분산한다.
• 각 워커에서 독립적인 MCMC 체인을 병렬로 실행하여 사후 분포의 서로 다른 모드를 탐색한다.
• 전역 동기화 없이도 확장 가능하고 고처리량 샘플링이 가능한 비동기 또는 약간의 동기화 업데이트를 사용한다.
• SGLD 업데이트 규칙에 노이즈 항과 단계 크기 스케줄을 통합함으로써 균형 보장 및 수렴 보장을 유지한다.
• SGLD가 확률적 그래디언트와 주입된 가우시안 노이즈를 조합해 사후 분포를 근사함으로써 대규모에서 효율적인 사후 탐색이 가능하다는 사실을 활용한다.

실험 결과

연구 질문

• RQ1 확률적 그래디언트 MCMC가 베이지안 추론의 품질을 유지하면서도 분산형 대규모 행렬 분해에 효과적으로 스케일업될 수 있는가?
• RQ2 실제 추천 데이터셋에서 분산 SGLD의 예측 정확도가 표준 MCMC(예: 감마 샘플링) 및 최적화 기반 방법(예: DSGD)과 비교해 어떻게 되는가?
• RQ3 다중 체인을 통한 병렬 샘플링이 단일 체인 MCMC에 비해 사후 분포 탐색과 예측 분산 감소에 얼마나 기여하는가?
• RQ4 잠재 차원 수 D가 증가함에 따라 이 방법은 어떻게 스케일업되며, 모델 복잡도 증가 시 성능 향상이 유지되는가?
• RQ5 실제로 높은 정확도와 고처리량을 동시에 달성할 수 있는가? 특히 최신 분산 최적화 및 샘플링 기법과 비교해 볼 때 어떻게 되는가?

주요 결과

• DSGLD는 감마 샘플링 수준의 예측 정확도를 확보하면서도 약 10배 더 빠른 속도를 기록한다. 넷플릭스 데이터셋에서 RMSE는 1.0339로 감소한다.
• 넷플릭스 데이터셋에서 DSGLD는 분산 SGD 대비 RMSE를 4.1% 감소시켜 유사한 학습 속도에도 불구하고 뛰어난 예측 성능을 입증한다.
• 야후 뮤직 데이터셋에서 DSGLD는 분산 SGD 대비 RMSE를 1.8% 향상시키며, 다양한 잠재 차원에서 일관된 성능 향상을 보인다.
• 잠재 차원 D가 증가함에 따라 DSGLD는 계속해서 성능 향상을 보이며, 반면 최적화 기반 방법(SGD, DSGD)은 하이퍼파rameter 민감도로 인해 일관성 없거나 성능이 악화되는 경향을 보인다.
• 감마 샘플링은 대규모에서 실용적이지 않다: 야후 뮤직에서 D=100일 경우, 300,000초 동안 단지 8개의 샘플만 생성된 반면, DSGLD는 동일한 시간에 460개의 샘플을 생성했다.
• DSGLD는 넷플릭스에서 DSGD 대비 상대적 향상도 3.6%–4.6%를 기록했고, 야후 뮤직에서는 1.8%–3.9%를 기록하여 정확도와 확장성의 조합 능력을 효과적으로 입증한다.