[論文レビュー] A Topic Modeling Toolbox Using Belief Propagation

Jia Zeng|arXiv (Cornell University)|Jan 4, 2012

Topic Modeling参考文献 12被引用数 34

ひとこと要約

本稿では、潜在ディリクレ割り当て（LDA）およびその変種（著者トピックモデル（ATM）、関係的トピックモデル（RTM）、ラベル付きLDA（LaLDA）を含む）を学習するための信念伝播（BP）を実装するトピックモデリングツールボックスTMBPを紹介する。BPは、サンプリングや複雑なディガンマ関数を用いない直接的なメッセージ伝達により、変分ベイズ（VB）やギブスサンプリング（GS）よりも高速かつ高精度であるため、トピックモデリングにおけるより速く正確な代替手法である。

ABSTRACT

Latent Dirichlet allocation (LDA) is an important hierarchical Bayesian model for probabilistic topic modeling, which attracts worldwide interests and touches on many important applications in text mining, computer vision and computational biology. This paper introduces a topic modeling toolbox (TMBP) based on the belief propagation (BP) algorithms. TMBP toolbox is implemented by MEX C++/Matlab/Octave for either Windows 7 or Linux. Compared with existing topic modeling packages, the novelty of this toolbox lies in the BP algorithms for learning LDA-based topic models. The current version includes BP algorithms for latent Dirichlet allocation (LDA), author-topic models (ATM), relational topic models (RTM), and labeled LDA (LaLDA). This toolbox is an ongoing project and more BP-based algorithms for various topic models will be added in the near future. Interested users may also extend BP algorithms for learning more complicated topic models. The source codes are freely available under the GNU General Public Licence, Version 1.0 at https://mloss.org/software/view/399/.

研究の動機と目的

• 信念伝播（BP）を用いたスケーラブルで効率的なトピックモデリングツールボックスの開発を目的とし、変分ベイズ（VB）やギブスサンプリング（GS）の代替手段とする。
• BPに基づく推論を、著者トピックモデル（ATM）、関係的トピックモデル（RTM）、ラベル付きLDA（LaLDA）を含む複数のLDA変種へ拡張することを目的とする。
• MATLAB/OctaveとのMEX C++/Matlab/Octave統合を備えた、自由に利用可能でオープンソースの実装を提供することを目的とする。
• BPが従来の推論手法と比較して、トピックモデリングにおいて優れた速度と正確性を達成することを示すこと

提案手法

• ツールボックスは、LDAおよびその変種から導出された因子グラフに信念伝播（BP）を実装し、三層構造のLDAモデルを二層構造のマルコフ確率場（MRF）に変換する。
• BPは、語、文書、トピックの変数間でのメッセージ伝達を用い、サンプリングを伴わず、周辺分布の更新を隣接ノードからのメッセージに基づいて行う。
• BPのメッセージ更新式は、結合確率分布から導出され、VBで用いられるディガンマ関数の使用を避け、GSで用いられる離散的サンプリングも不要となる。
• BPのメッセージ更新は以下の式で定義される：μ_{w,d}(k) ∝ [x_{-w,d}μ_{-w,d}(k) + α] / Σ_k[x_{-w,d}μ_{-w,d}(k) + α] × [x_{w,-d}μ_{w,-d}(k) + β] / Σ_w[x_{w,-d}μ_{w,-d}(k) + β]。
• ツールボックスは同期的BP（sBP）をサポートし、MATLAB/OctaveとのMEXファイル統合により、高パフォーマンスな実行を実現する。
• ユーザーは、因子グラフとメッセージ更新ルールを適応させることで、新しいトピックモデル用のBPを実装するためのフレームワークを拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 信念伝播（BP）は、VB や GS と比較して、LDA 及びその変種の学習に効果的に適用可能であり、それらの手法を上回る性能を発揮するか？
• RQ2 トピックモデリングにおける収束速度と推論精度という観点から、BP は変分ベイズ（VB）およびギブスサンプリング（GS）と比較してどのように異なるか？
• RQ3 BP は、著者トピックモデル（ATM）、関係的トピックモデル（RTM）、ラベル付きLDA（LaLDA）のような複雑なトピックモデルへ一般化可能か？
• RQ4 サンプリングベースおよび変分推論手法と比較して、トピックモデリングにおけるBPの計算的・統計的利点は何か？

主な発見

• 信念伝播（BP）は、変分ベイズ（VB）およびギブスサンプリング（GS）と比較して、トピックモデリングタスクにおいてより高速な収束と高い正確性を達成した。
• TMBPツールボックスにおけるBPベースの推論により、トレーニングのパープレキシティは、イテレーション10で1041.62からイテレーション490で741.95に低下し、効果的な最適化が示された。
• BPアルゴリズムは、デモデータセットで500イテレーションを13.25秒で実行し、高い計算効率を示した。
• BPが生成したトピックごとの上位5語は、一貫性があり意味的に意味のあるものであり、モデルが解釈可能なトピックを効果的に抽出できることを裏付けた。
• このツールボックスは、ATM、RTM、LaLDAを含む複数のLDA変種を、最小限の修正で同じBPフレームワークでサポートしている。
• TMBPツールボックスがGNU一般公衆利用許諾契約書（GPL）の下でオープンソースとして公開されているため、拡張性が高く、コミュニティ主導の新しいBPベースのトピックモデルの開発が可能である。