[論文レビュー] Dependent Hierarchical Normalized Random Measures for Dynamic Topic Modeling

Changyou Chen, Nan Ding+1 more|arXiv (Cornell University)|Jun 18, 2012

Bayesian Methods and Mixture Models参考文献 19被引用数 17

ひとこと要約

本論文は、べき乗則的トピック分布を捉えるために、正規化一般化ガンマ過程を用いた、従属的階層的正規化されたランダム測度に基づく、新しい動的トピックモデリングフレームワークを提案する。べき乗則的トピック分布を捉えるために正規化一般化ガンマ過程を活用し、時間的依存性はポアソン過程の重ね合わせと点移行によってモデル化し、推論にはスライスサンプラーを用いる。この手法により、ニュース、ブログ、学術的文書、Twitterのデータセットにおいて、従来のモデルよりも優れたパープレキシティを達成する。

ABSTRACT

We develop dependent hierarchical normalized random measures and apply them to dynamic topic modeling. The dependency arises via superposition, subsampling and point transition on the underlying Poisson processes of these measures. The measures used include normalised generalised Gamma processes that demonstrate power law properties, unlike Dirichlet processes used previously in dynamic topic modeling. Inference for the model includes adapting a recently developed slice sampler to directly manipulate the underlying Poisson process. Experiments performed on news, blogs, academic and Twitter collections demonstrate the technique gives superior perplexity over a number of previous models.

研究の動機と目的

• 動的テキストコレクションにおけるべき乗則的トピック分布を捉えることに、ディリクレ過程ベースのモデルの限界を克服すること。
• 従来の非パラメトリックベイズ手法よりも、トピックの時間的変化における依存性をより柔軟にモデル化すること。
• ランダム測度の背後にあるポアソン過程を直接操作できる、スケーラブルな推論アルゴリズムを開発すること。
• ニュース、ブログ、ソーシャルメディアなど、時間的に変化するテキストデータにおけるトピックモデリングのパフォーマンスを向上させること。
• 正規化一般化ガンマ過程が、ディリクレ過程よりも動的トピックモデリングにおいて優れていることを示すこと。

提案手法

• フレームワークは、ディリクレ過程とは異なりべき乗則的挙動を自然に示す、正規化一般化ガンマ過程をベース測度として採用する。
• 時間的依存性は、ランダム測度の背後にあるポアソン過程における重ね合わせ、サブサンプリング、点移行によって誘導される。
• ポアソン過程表現に直接作用する新しいスライスサンプラーを適応し、効率的な事後分布推論を可能にする。
• 階層的な構造を採用することで、時間的ポイント間でトピック構造を共有しつつ、動的進化を保持できる。
• 構成により交換可能性が保証され、無限個のトピックに対する非パラメトリック推論が可能になる。
• ポアソン過程表現の条件付き共役性を活用することで、オンラインおよびバッチ推論をサポートする。

実験結果

リサーチクエスチョン

• RQ1 正規化一般化ガンマ過程を用いることで、べき乗則的トピック分布をよりよく捉えることにより、動的トピックモデリングが向上するか？
• RQ2 従属的正規化ランダム測度を用いて、トピック進化における時間的依存性を効果的にモデル化できるか？
• RQ3 ポアソン過程表現に直接作用するスライスサンプラーは、このフレームワークにおいて効率的かつ正確な推論を達成できるか？
• RQ4 提案されたモデルは、多様なテキストコレクションにおいて、従来の動的トピックモデルよりもパープレキシティの観点で優れているか？
• RQ5 モデルの非パラメトリック性とべき乗則的挙動は、時間的に変化するテキストデータにおけるパフォーマンス向上にどの程度寄与するか？

主な発見

• 提案されたモデルは、ニュース、ブログ、学術的文書、Twitterのテキストコレクションにおいて、従来のモデルよりも顕著に低いパープレキシティを達成した。
• 正規化一般化ガンマ過程の使用により、ディリクレ過程よりもべき乗則的トピック分布をよりよく捉えることができた。
• ポアソン過程表現に直接作用するスライスサンプラーにより、共役事前分布を必要とせず、効率的かつ正確な事後分布推論が可能になった。
• 短い形式のソーシャルメディアコンテンツ（例：Twitter）を含む、多様なテキストタイプにおいて、モデルは頑健なパフォーマンスを示した。
• ポアソン過程の重ね合わせと点移行による依存構造は、時間経過に伴うトピック進化を効果的にモデル化した。
• 実験的結果により、提案されたフレームワークが、動的トピックモデリングタスクにおいてベースラインモデルを上回ることを確認した。