[論文レビュー] SAME but Different: Fast and High-Quality Gibbs Parameter Estimation

Huasha Zhao, Biye Jiang+1 more|arXiv (Cornell University)|Sep 18, 2014

Gaussian Processes and Bayesian Inference参考文献 17被引用数 9

ひとこと要約

本稿では、潜在変数の複数コピーを並列にサンプリングし、事後分布を冷却することで収束を早める、GPUアクセラレート型のギブスサンプリング手法である状態拡張による周辺分布推定（SAME）を提案する。この手法により、トピックモデルの代表例である確率的ディリクレ割り当て（LDA）のような確率的モデルにおけるパラメータ推定の精度が向上する。SAMEは、収束速度の向上と高品質なMAP推定を実現し、最も高速な記号的推論手法と同等の性能を達成しながらも、サンプリングベースの品質優位性を維持する。

ABSTRACT

Gibbs sampling is a workhorse for Bayesian inference but has several limitations when used for parameter estimation, and is often much slower than non-sampling inference methods. SAME (State Augmentation for Marginal Estimation) \cite{Doucet99,Doucet02} is an approach to MAP parameter estimation which gives improved parameter estimates over direct Gibbs sampling. SAME can be viewed as cooling the posterior parameter distribution and allows annealed search for the MAP parameters, often yielding very high quality (lower loss) estimates. But it does so at the expense of additional samples per iteration and generally slower performance. On the other hand, SAME dramatically increases the parallelism in the sampling schedule, and is an excellent match for modern (SIMD) hardware. In this paper we explore the application of SAME to graphical model inference on modern hardware. We show that combining SAME with factored sample representation (or approximation) gives throughput competitive with the fastest symbolic methods, but with potentially better quality. We describe experiments on Latent Dirichlet Allocation, achieving speeds similar to the fastest reported methods (online Variational Bayes) and lower cross-validated loss than other LDA implementations. The method is simple to implement and should be applicable to many other models.

研究の動機と目的

• 高次元モデルにおけるMAPパラメータ推定のための標準的ギブスサンプリングの収束が遅く、スケーラビリティに欠ける問題に対処すること。
• 状態拡張を用いて事後分布を冷却することで、より良い最適解へのアニーリング探索を可能にし、パラメータ推定の品質を向上させること。
• 現代のSIMDアーキテクチャ（GPU）を活用してサンプリングを高速化し、記号的推論手法と同等の性能を達成すること。
• サンプリングベースの手法が、オンライン変分ベイズなどの最先端の記号的アプローチと同等またはそれ以上の速度を達成しつつ、より高い推定品質を維持できることを示すこと。
• LDAに適した実用的で高性能なSAME実装を構築し、他のグラフィカルモデルへの容易な展開を可能にすること。

提案手法

• 潜在変数 Z^(1), ..., Z^(m) のm個の独立コピーを、共通のパrameter Θ で結びつけることで、事後分布 P^m(Θ|X) を効果的に冷却した分布を定義する。
• P^m(Θ|X) が P^m(Θ|X) に比例することを活用し、事後分布のピークを鋭くすることで、高品質なMAP推定への収束を促進する。
• 拡張されたシステムに対してギブスサンプリングを適用し、各コピー Z^(j) を独立に更新することで、GPUアーキテクチャにおける大規模並列処理を実現する。
• 計算コストを削減しながら推定精度を保持するため、因子化されたサンプル表現を用いる。
• 制御可能な逆温度パラメータ m = 1/(kT) を用いてアニーリングを実現し、m を段階的に増加させることでパラメータ推定を精緻化する。
• GPUカーネルを最適化し、すべてのm個のコピーを並列に処理することで、現代のハードウェアで高いスループットを達成する。

実験結果

リサーチクエスチョン

• RQ1 SAMEに基づくギブスサンプリングは、変分ベイズなどの記号的手法と同等のパラメータ推定品質を達成できるか？
• RQ2 潜在変数の複数コピーによって導入される並列性は、最も高速な記号的推論手法と同等の性能を達成できるか？
• RQ3 GPUアクセラレーションにより、サンプリングベースのMAP推定が、最先端のクラスタ規模のギブスサンプリング実装と同等またはそれ以上の速度で実行可能か？
• RQ4 コピー数mのアニーリングが収束速度と最終的な推定品質に与える影響は何か？
• RQ5 因子化されたサンプリングとSAMEの組み合わせは、一般のグラフィカルモデルに適した実用的で高性能な推論フレームワークを提供できるか？

主な発見

• NYTimesデータセット（K=256）において、SAMEギブスサンプラーは90秒で収束を達成した。これに対してCPUベースの実装では60〜70時間も要した。
• GPUアクセラレート型SAME GS法は、100ノードのクラスタで実行されたコラプシングギブスサンプリング（CGS）の2000分を上回る性能を示し、4倍の高速化を達成した。
• m=100の場合、1イタレーションあたりの実行時間はわずか30秒であり、mを500に増加させても追加で20秒しか増加しなかった。これはGPU並列処理のおかげで追加コストが極めて低いことを示している。
• 他のLDA実装と比較して、交差検証損失が低く抑えられ、サンプリングおよび変分手法と比較してより高い品質のパラメータ推定を達成した。
• SAME GS法の実行時間は、オンライン変分ベイズ（VB）の約3倍であり、推定品質はより優れていた。
• 線形、対数、逆線形の動的アニーリングスケジュールは、固定m=100と比較して顕著な利点を示さなかった。これは、一定のサンプルサイズで十分に効果的であることを示唆している。