[論文レビュー] Large-Scale Distributed Bayesian Matrix Factorization using Stochastic Gradient MCMC

Sungjin Ahn, Anoop Korattikara+3 more|arXiv (Cornell University)|Mar 5, 2015

Markov Chains and Monte Carlo Methods参考文献 24被引用数 10

ひとこと要約

本稿では、確率的勾配マルコフ連鎖モンテカルロ（SGMCMC）を用いたスケーラブルな分散型ベイジアン行列分解手法であるDSGLDを提案する。この手法は、ベイジアン推論の予測精度と確率的勾配降下法の効率性を統合する。複数のチェーンおよびデータブロックにおける分散型非同期更新を活用することで、DSGLDはギブスサンプリングレベルの精度を10倍速く達成し、NetflixではRMSEを4.1%、Yahoo Musicでは1.8%低減する。

ABSTRACT

Despite having various attractive qualities such as high prediction accuracy and the ability to quantify uncertainty and avoid over-fitting, Bayesian Matrix Factorization has not been widely adopted because of the prohibitive cost of inference. In this paper, we propose a scalable distributed Bayesian matrix factorization algorithm using stochastic gradient MCMC. Our algorithm, based on Distributed Stochastic Gradient Langevin Dynamics, can not only match the prediction accuracy of standard MCMC methods like Gibbs sampling, but at the same time is as fast and simple as stochastic gradient descent. In our experiments, we show that our algorithm can achieve the same level of prediction accuracy as Gibbs sampling an order of magnitude faster. We also show that our method reduces the prediction error as fast as distributed stochastic gradient descent, achieving a 4.1% improvement in RMSE for the Netflix dataset and an 1.8% for the Yahoo music dataset.

研究の動機と目的

• MCMC推論の計算コストが高いため、スケール上でのベイジアン行列因子分解（BMF）の計算不能性に対処する。
• 完全な事後分布サンプリングが極めて遅いため、従来のMCMC手法が分散環境で抱える制限を克服する。
• 確率的勾配降下法の効率性とベイジアン推論の不確実性の定量化および過学習制御を統合する。
• 最小限の通信と非同期更新を用いて、大規模レコメンデーションシステムにおけるスケーラブルかつ分散型の事後分布サンプリングを可能にする。
• 単一チェーンMCMCに比べて、複数チェーンにおける並列サンプリングが事後分布探索と予測分散の低減にどの程度寄与するかを評価する。

提案手法

• ミニバッチのユーザー・アイテム評価を用いて、分散型でブロック単位の行列因子分解に確率的勾配ランジュヴィアンダイナミクス（SGLD）を適応する。
• 各ワーカーがユーザーまたはアイテムのブロックに対応するパラメータ（UおよびV）の部分集合のみを更新するように、評価行列をワーカー間で分散する。
• 複数の独立したMCMCチェーンをワーカー間で並列に実行し、事後分布の異なるモードを探索する。
• グローバルな同期なしに、スケーラブルで高スループットなサンプリングを実現するため、非同期または弱同期更新を用いる。
• SGLD更新式にノイズ項とステップサイズスケジュールを組み込むことで、詳細なバランスと収束保証を維持する。
• SGLDが確率的勾配と注入されたガウスノイズを組み合わせることで事後分布を近似できることを活用し、大規模スケールでの効率的な事後分布探索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 確率的勾配MCMCは、ベイジアン推論の品質を保ちつつ、分散型の大規模行列因子分解に効果的にスケーリング可能か？
• RQ2 実世界の推薦データセットにおいて、分散型SGLDの予測精度は、標準的なMCMC（例：ギブスサンプリング）および最適化ベースの手法（例：DSGD）と比べてどの程度か？
• RQ3 複数チェーンにわたる並列サンプリングは、単一チェーンMCMCに比べて、事後分布探索と予測分散の低減にどの程度寄与するか？
• RQ4 潜在次元数Dが増加するに従って、この手法はどの程度スケーリングするか？また、モデルの複雑さが増すに従っても、性能向上を維持できるか？
• RQ5 実際の応用において、高精度と高スループットの両方を達成できるか？特に、最先端の分散最適化およびサンプリング手法と比較してどうか？

主な発見

• DSGLDはギブスサンプリングと同等の予測精度を達成し、NetflixデータセットではRMSEを1.0339まで低減するが、約10倍速い。
• Netflixデータセットでは、分散SGDと比較してRMSEを4.1%低減し、同程度の学習速度でも優れた予測性能を示す。
• Yahoo Musicデータセットでは、分散SGDと比較してRMSEを1.8%改善し、異なる潜在次元数において一貫した向上を示す。
• 潜在次元数Dが増加するにつれて、DSGLDは性能が向上を続けるが、最適化ベースの手法（SGD、DSGD）はハイパーパramータへの感受性により、一貫性のないまたは劣化する結果を示す。
• ギブスサンプリングはスケール上では実用的でない：Yahoo MusicでD=100の場合、30万秒でたった8サンプルしか生成できず、DSGLDは同じ時間に460サンプルを生成した。
• NetflixではDSGDに対するDSGLDの相対的改善は3.6%〜4.6%、Yahoo Musicでは1.8%〜3.9%であり、精度とスケーラビリティの両立を効果的に実現していることが示された。