[論文レビュー] Parallelizing LDA using Partially Collapsed Gibbs Sampling

Måns Magnusson, Leif Jonsson+2 more|arXiv (Cornell University)|Jun 11, 2015

Music and Audio Processing参考文献 33被引用数 6

ひとこと要約

この論文は、文書レベルのトピック割合のみを畳み込む部分的崩壊ギブスサンプラーを提案する。これにより、文書間でトピックインジケータを独立かつ並列にサンプリング可能となる。完全に崩壊したサンプラーとは異なり、真の事後分布への収束を維持しつつ、大規模コーパスにおいて顕著な高速化を達成する。統計的非効率性の増加は、並列化の利点に比べて劣る。

ABSTRACT

Latent dirichlet allocation (LDA) is a model widely used for unsupervised probabilistic modeling of text and images. MCMC sampling from the posterior distribution is typically performed using a collapsed Gibbs sampler that integrates out all model parameters except the topic indicators for each word. The topic indicators are Gibbs sampled iteratively by drawing each topic from its conditional posterior. The popularity of this sampler stems from its balanced combination of simplicity and efficiency, but its inherently sequential nature is an obstacle for parallel implementations. Growing corpus sizes and increasing model complexity are making inference in LDA models computationally infeasible without parallel sampling. We propose a parallel implementation of LDA that only collapses over the topic proportions in each document and therefore allows independent sampling of the topic indicators in different documents. We develop several modifications of the basic algorithm that exploits sparsity and structure to further improve the performance of the partially collapsed sampler. Contrary to other parallel LDA implementations, the partially collapsed sampler guarantees convergence to the true posterior. We show on several well-known corpora that the expected increase in statistical inefficiency from only partial collapsing is smaller than commonly assumed, and can be more than compensated by the speed-up from parallelization for larger corpora.

研究の動機と目的

• 増大するコーパスサイズに伴うLDA推論における順次的ギブスサンプリングの計算ボトルネックを解消すること。
• 標準的なLDA実装で並列化を制限する、崩壊したギブスサンプリングの本質的な順次性を克服すること。
• 真の事後分布への収束を保証することで正しさを維持する並列LDA推論手法を開発すること。
• 部分的崩壊によって生じる統計的非効率性を最小限に抑えつつ、並列実行によるパフォーマンス向上を最大化すること。
• 大規模コーパスにおいて、統計的効率性と計算速度向上のトレードオフが有利に働くことを実証すること。

提案手法

• 文書固有のトピック割合のみを統合し、語彙レベルのトピックインジケータを潜在変数として残す部分的崩壊ギブスサンプラーを提案する。
• 部分的共役性を活用して文書間の依存を解消することで、トピックインジケータの独立したサンプリングを可能にし、真の並列化を実現する。
• 文書-トピックおよびトピック-語彙分布のスパarsityを活用してメモリアクセスを最適化し、計算時間を削減する。
• LDAの条件付き独立構造を活かしたアルゴリズム的最適化を導入し、サンプリングステップの高速化を図る。
• 部分的崩壊に対してもマルコフ連鎖が真の事後分布に収束することを保証することで、詳細バランスを維持し、正しさを確保する。
• 各文書ごとにトピックインジケータを並列に更新するサンプリング方式を設計し、更新は共有されるグローバルなトピック-語彙パラメータを通じてのみ同期する。

実験結果

リサーチクエスチョン

• RQ1 部分的崩壊ギブスサンプラーは、真の事後分布への収束を損なわせることなく、効果的な並列化を達成できるか？
• RQ2 部分的崩壊による統計的非効率性は、完全な崩壊と比較して混合速度や収束速度にどの程度影響を与えるか？
• RQ3 LDAのスパarsityおよび構造的性質を、部分的崩壊設定においてどの程度活用できるか？
• RQ4 大規模コーパスにおいて、並列化によるパフォーマンス向上が、想定される統計的非効率性の増加を上回るか？
• RQ5 部分的崩壊LDA推論において、計算速度とサンプリング効率の実証的トレードオフはいかなるものか？

主な発見

• 部分的崩壊ギブスサンプラーは、他の並列LDA手法とは異なり、真の事後分布への収束を保証する。
• 部分的崩壊による統計的非効率性の増加は、一般的に想定されるよりも小さい。特に大規模コーパスにおいて顕著である。
• 並列化により顕著な高速化が達成され、コーパスサイズが大きくなるほどパフォーマンス向上が顕著になる。
• 部分的崩壊による統計的コストが管理可能であり、並列化の恩恵と組み合わせることで、大規模データセットにおいて完全に崩壊したサンプラーを上回る総合的効率性を達成する。
• スパarsityに配慮した最適化は、サンプリング精度に影響を与えることなく、実行時間の大幅な改善をもたらす。
• 代表的なコーパスを用いた実験結果から、並列実行による高速化が、わずかな統計的非効率性の損失をはるかに上回ることが確認された。