[論文レビュー] Communication-Efficient Parallel Belief Propagation for Latent Dirichlet Allocation

Jianfeng Yan, Zhiqiang Liu+2 more|arXiv (Cornell University)|Jun 11, 2012

Bayesian Methods and Mixture Models参考文献 11被引用数 7

ひとこと要約

本稿では、通信効率の高い並列信念伝播（CE-PBP）を提案する。この新しいアルゴリズムは、信念伝播における同期頻度を動的に調整するためにジフの法則を適用することで、並列トピックモデリングにおける通信オーバーヘッドを低減する。CE-PBPは、最先端の並列ギブスサンプリング（PGS）と比較して、80%以上の通信コスト削減を達成し、著しく高いトピックモデリング精度を実現する。大規模データセット上では、PBPの通信時間の最大17%、PGSよりも20%高速な学習を達成する。

ABSTRACT

This paper presents a novel communication-efficient parallel belief propagation (CE-PBP) algorithm for training latent Dirichlet allocation (LDA). Based on the synchronous belief propagation (BP) algorithm, we first develop a parallel belief propagation (PBP) algorithm on the parallel architecture. Because the extensive communication delay often causes a low efficiency of parallel topic modeling, we further use Zipf's law to reduce the total communication cost in PBP. Extensive experiments on different data sets demonstrate that CE-PBP achieves a higher topic modeling accuracy and reduces more than 80% communication cost than the state-of-the-art parallel Gibbs sampling (PGS) algorithm.

研究の動機と目的

• プロセッサ間の頻繁な同期による高コストな通信とスケーラビリティの制限を解消すること。
• 並列環境下で確率的ギブスサンプリングの代わりに決定的信念伝播を採用することで、トピックモデリング精度を向上させること。
• ジフの法則を用いて、グローバルパラメータの更新頻度をモデル化することで、並列信念伝播における通信オーバーヘッドを低減すること。
• モデリング精度を損なわず、大規模LDA学習における効率性とスケーラビリティを向上させること。
• トピックモデリングにとどまらず、他の並列アルゴリズムにも適用可能な通信効率の高いフレームワークを提供すること。

提案手法

• 同期的信念伝播（BP）を並列アーキテクチャ（PBP）に拡張し、逐次BPと同一の結果を保証する。
• グローバルパラメータの同期頻度を決定するためにジフの法則を適用し、冗長な更新を低減する。
• 上位ランクの成分（頻出語）がより頻繁に更新される通信レートモデルを採用し、パワーローの分布に従う。
• ワード頻度ランクに応じて、グローバルパラメータ行列の同期間隔を動的に変更する更新戦略を採用する。
• サンプリングされたトークンではなく完全なメッセージを用いたメッセージパッシングにより、不確実性を保持し、より高い精度を実現する。
• グローバルパラメータ更新における非同期アクセスパターンにより、入出力の競合を低減し、通信を最適化する。

実験結果

リサーチクエスチョン

• RQ1 信念伝播を効果的に並列化することで、逐次BPと同等の精度を達成するとともに、効率的なスケーリングが可能か？
• RQ2 モデリング精度を低下させずに、並列トピックモデリングにおける通信コストをどのように低減できるか？
• RQ3 ジフの法則を用いて、分散LDA学習におけるグローバルパラメータ同期の最適通信頻度をモデル化できるか？
• RQ4 通信効率の高いPBP（CE-PBP）は、最先端の並列ギブスサンプリング（PGS）と比較して、性能と精度で優れているか？
• RQ5 通信削減が、大規模トピックモデリングにおける学習速度、収束性、パープレキシティに与える影響は何か？

主な発見

• CE-PBPは、標準PBPと比較して通信コストを約85%削減し、複数のデータセット上でPGSと比較しても80%以上削減する。
• CE-PBPはPBPの通信時間の17%にまで低減されており、I/O競合の低減により、予想される20%よりもわずかに優れた結果を達成している。
• CE-PBPは、全テスト対象のトピック数（K ∈ {10,20,30,40,50}）において、PGSよりも著しく低い予測パープレキシティを達成しており、より高いモデリング精度を示している。
• CE-PBPはPBPのほぼ2倍の速度で学習が可能であり、PGSよりも20%高速で、収束行動は同等またはそれ以上に良好である。
• CE-PBPのスケーリング性能は、PBPおよびPGSを上回り、特にスケールが大きくなると顕著になる。これは、通信オーバーヘッドが低く、計算対通信比（CCR）が高いからである。
• CE-PBPはPGS+よりも通信効率に優れ、通信コスト比は15%（PGS+の27.5%と比較）であり、パープレキシティの観点でも優れている。