[論文レビュー] Using Variational Inference and MapReduce to Scale Topic Modeling

Ke Zhai, Jordan Boyd‐Graber+1 more|arXiv (Cornell University)|Jul 19, 2011

Topic Modeling参考文献 44被引用数 10

ひとこと要約

本論文では、大規模なドキュメントコレクションにわたるLDA推論を効率的に分散処理するために、MapReduceパラダイムにおける変分推論を用いたスケーラブルなトピックモデリングフレームワーク、Mr. LDAを提案する。Gibbsサンプリングとは異なり、共有状態と収束問題のため並列化に課題を抱えるが、Mr. LDAは変分推論を活用することで一貫性のある分散計算を可能にし、スケーラビリティと拡張性に優れた実装を実現した。これにより、インformed priors やマルチリンガルトピックモデリングといった拡張も可能となった。

ABSTRACT

Latent Dirichlet Allocation (LDA) is a popular topic modeling technique for exploring document collections. Because of the increasing prevalence of large datasets, there is a need to improve the scalability of inference of LDA. In this paper, we propose a technique called ~\emph{MapReduce LDA} (Mr. LDA) to accommodate very large corpus collections in the MapReduce framework. In contrast to other techniques to scale inference for LDA, which use Gibbs sampling, we use variational inference. Our solution efficiently distributes computation and is relatively simple to implement. More importantly, this variational implementation, unlike highly tuned and specialized implementations, is easily extensible. We demonstrate two extensions of the model possible with this scalable framework: informed priors to guide topic discovery and modeling topics from a multilingual corpus.

研究の動機と目的

• 大規模なドキュメントコレクションにおける従来のLDA推論のスケーラビリティ制限を解消すること。
• 共有状態や分散ノード間での一貫性の欠如といった、Gibbsサンプリングの並列化における課題を克服すること。
• 推論品質を維持しつつ、拡張性を備えたスケーラブルで分散可能なLDAフレームワークを構築すること。
• インformed priors やマルチリンガルトピックモデリングといった実装を通じて、フレームワークの柔軟性を示すこと。

提案手法

• Gibbsサンプリングの代わりに変分推論を採用することで、MapReduceフレームワーク内での一貫性のある分散推論を可能にする。
• 平均場変分推論を用いて、潜在トピックと単語割り当ての事後分布を近似する。
• MapReduceパイプラインを設計し、Mapフェーズで局所的十分統計量を計算し、Reduceフェーズでグローバルな変分パラメータを集約・更新する。
• LDAモデルを局所的およびグローバルなコンponentsに分解することで、ドキュメントチャンクを独立して処理しつつも、グローバルパラメータの一貫性を保つ。
• 変分下界（ELBO）を用いて、MapReduceの反復処理において近似事後分布を段階的に最適化する。
• 変分分布およびパラメータ更新の変更により、非共役事前分布やマルチリンガル拡張をサポートするフレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 変分推論をMapReduceプログラミングモデルに効果的にマッピングすることで、収束性や品質を損なわずにLDA推論のスケーリングが可能かどうか。
• RQ2 Mr. LDAの性能は、Gibbsサンプリングに基づく分散LDAと比較して、対数尤度および収束安定性においてどのように差が現れるか。
• RQ3 Mr. LDAフレームワークは、インformed priors やマルチリンガルトピックモデリングといった高度なモデリング拡張をサポートできるか。
• RQ4 ドキュメント数やトピック数の増加に伴い、フレームワークのスケーリング特性はどの程度向上するか。

主な発見

• Mr. LDAは、Gibbsサンプリングにおける共有状態や収束問題を回避する変分推論を用いることで、高いスケーラビリティを達成した。
• フレームワークは分散ノード間で一貫性のある推論品質を示し、一部のGibbsサンプリングベースの分散実装で観察された対数尤度の著しい低下を回避した。
• 変分推論の使用により、Gibbsサンプリングでは実装が困難な非共役事前分布やマルチリンガルトピックモデリングのサポートが可能となった。
• Mr. LDAは、言語間で同等のトピックを効果的に抽出でき、例えばドイツ語の「oper」が英語の「music」と対応するなど、地域的言語的ニュアンスを結果に反映した。
• フレームワークはオンライン推論を効率的に行えるほか、自動推論導出により他のモデルへの拡張も可能である。
• 評価結果から、Mr. LDAはドキュメント数およびトピック数の両方に対して効果的にスケーリングされ、大規模コーパスにおいても性能を維持した。