[論文レビュー] Parallel Stochastic Gradient Markov Chain Monte Carlo for Matrix Factorisation Models

Umut Şimşekli, Hazal Koptagel+4 more|arXiv (Cornell University)|Jun 3, 2015

Markov Chains and Monte Carlo Methods参考文献 18被引用数 9

ひとこと要約

本稿では、大規模な行列分解（MF）モデルにおけるスケーラブルなベイズ推論のための分散マルコフ連鎖モンテカルロ法として、並列確率的勾配ランジュバンダイナミクス（PSGLD）を提案する。MFにおける条件付き独立性を活用することで、効率的なデータ部分抽出と並列処理を可能にし、PSGLDは勾配降下法と同等の収束速度を達成しながら、完全な事後分布サンプリングを可能にした。データサイズが64倍に増加しても、計算ノードを比例的に増やすことで実行時間はほぼ一定を維持する。

ABSTRACT

For large matrix factorisation problems, we develop a distributed Markov Chain Monte Carlo (MCMC) method based on stochastic gradient Langevin dynamics (SGLD) that we call Parallel SGLD (PSGLD). PSGLD has very favourable scaling properties with increasing data size and is comparable in terms of computational requirements to optimisation methods based on stochastic gradient descent. PSGLD achieves high performance by exploiting the conditional independence structure of the MF models to sub-sample data in a systematic manner as to allow parallelisation and distributed computation. We provide a convergence proof of the algorithm and verify its superior performance on various architectures such as Graphics Processing Units, shared memory multi-core systems and multi-computer clusters.

研究の動機と目的

• 大規模な行列分解における従来のMCMC手法の計算不能性を解消し、分散的かつスケーラブルな事後分布サンプリングを可能にする。
• MFモデルにおける既存の分散SGLDアプローチの通信ボトルネックと非効率性を、条件付き独立性の活用によって克服する。
• 大規模データ環境下で、モンテカルロ推論が最適化ベース手法と同等の効率性を示すかを実証する。
• 実世界の大規模スパースデータセット（例：MovieLens 10M）において、モデル選択や予測密度推定を含む完全なベイズ推論を可能にする。

提案手法

• 複数のノード上で部分サンプリングされたデータパーティションに分散して独立したマルコフ連鎖を実行する分散MCMCフレームワーク「並列SGLD（PSGLD）」を提案する。
• MFモデルに内在する条件付き独立性構造を活用し、完全なデータ同期を伴わずに、系統的なデータ部分抽出と効率的な並列処理を実現する。
• ミニバッチを用いて事後分布を近似するため、反復処理の計算コストを低減するため、確率的勾配ランジュバンダイナミクス（SGLD）を用いる。
• 潜在変数のグローバル同期を回避する通信効率の良いプロトコルを実装し、分散環境におけるオーバーヘッドを低減する。
• 非負行列分解にTweedie尤度を適用するなど、さまざまなMFモデルに適用可能であり、密行列およびスパース行列の両方をサポートする。
• 共有メモリシステム、GPU、マルチコンピュータクラスタを対象に、計算ノードにわたるデータおよび潜在変数の動的パーティショニングにより、スケーリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 分散MCMC手法は、行列分解において、勾配降下法と同等の計算効率を達成しながら、完全なベイズ事後分布サンプリングを可能にするか？
• RQ2 行列分解モデルにおける条件付き独立性構造をどのように活用することで、分散MCMCにおける通信コストを低減できるか？
• RQ3 データサイズと計算ノード数を比例的に増加させた場合でも、PSGLDはスケーラビリティを維持するか？
• RQ4 大規模MF問題において、PSGLDは分散最適化手法（例：DSGD）と比較して収束速度と精度で優位性を示すか？
• RQ5 PSGLDは、実世界の大規模スケールデータセット（例：MovieLens 10M）において、モデル選択や予測不確実性を含む完全なベイズ推論を可能にするか？

主な発見

• PSGLDは、MovieLens 10Mデータセットにおいて、分散確率的勾配降下法（DSGD）と同等のRMSE収束レートを達成しており、事後分布の完全なサンプリングを行っても収束速度に差がないことを示している。
• 15ノードのクラスタ上で120プロセスを用いて、PSGLDの実行時間はノード数の増加に伴いほぼ2乗的に短縮される（最大90ノードまで）。これは、強いスケーラビリティを示している。
• データサイズが64倍に増加（約1000万から約6億4000万非ゼロ要素に）しても、ノード数を120に比例的に増加させることで、PSGLDの実行時間はほぼ一定を維持する。これは、データおよび計算スケーリングの強力な証明である。
• 120ノードに達すると通信コストが支配的になり、実行時間にわずかな増加が生じる。これは、ネットワークオーバーヘッドに起因するノード数の実用的上限を示している。
• 本手法は、大規模MFモデルにおける効率的なベイズ推論を可能にし、MCMCが大規模データでは遅すぎるという一般的な認識に反する。PSGLDは最適化ベース手法の代替として実用的であると位置づけられる。