[論文レビュー] A non-parametric mixture model for topic modeling over time

Avinava Dubey, Ahmed Hefny+2 more|arXiv (Cornell University)|Aug 22, 2012

Bayesian Methods and Mixture Models参考文献 11被引用数 6

ひとこと要約

本稿では、時間的変動を示すトピックを効果的にモデル化できる非パラメトリックベイジアンモデルであるnpTOTを提案する。このモデルは、時間軸におけるディリクレ過程混合を用いることで、無限個のトピックを許容し、柔軟でマルチモーダルな時間的ダイナミクスを実現する。推論にはコラプセッド・ギブスサンプラーを採用し、合成データおよび実世界のデータセットにおいて、尤度およびパープレキシティの指標で、パラメトリックモデルや条件付きモデルを上回る優れた性能を示す。

ABSTRACT

A single, stationary topic model such as latent Dirichlet allocation is inappropriate for modeling corpora that span long time periods, as the popularity of topics is likely to change over time. A number of models that incorporate time have been proposed, but in general they either exhibit limited forms of temporal variation, or require computationally expensive inference methods. In this paper we propose non-parametric Topics over Time (npTOT), a model for time-varying topics that allows an unbounded number of topics and exible distribution over the temporal variations in those topics' popularity. We develop a collapsed Gibbs sampler for the proposed model and compare against existing models on synthetic and real document sets.

研究の動機と目的

• LDA や TOT といったパラメトリックトピックモデルの限界、特に固定されたトピック数と単一モードの時間的流行を仮定する点を是正すること。
• 固定されたトピック数を仮定せず、トピックの流行に柔軟でマルチモーダルな時間的変動を許容する非パラメトリックモデルの開発。
• テキストとタイムスタンプを交換可能な確率変数としてモデル化することで、共役性を維持し、推論を容易にすること。
• タイムスタンプ情報のないドキュメントのモデル化を可能とし、地理的位置などの高次元の共変量をサポートすること。
• テキストと時間の共同モデルを用いることで、時間的情報を活用し、保留されたテキストの予測性能を向上させること。

提案手法

• TOT モデルを拡張し、固定されたトピック数とベータ分布を仮定する時間パラメータを、トピックと時間成分の非パラメトリックなディリクレ過程混合に置き換える。
• 無限個の潜在的トピックを許容するため、トピック-語分布に階層的ディリクレ過程（HDP）事前分布を適用する。
• 各トピックの時間分布を、ベース分布（例：ベータ分布や非対称分布）の混合としてモデル化し、混合割合はディリクル過程から抽出する。
• トピック割合と時間パラメータを統合するコラプセッド・ギブスサンプラーを採用し、効率的な事後分布推論を実現する。
• トピック間で時間成分を共有することで相関を誘導し、関連するトピックが類似した時間的傾向を示すのを可能にする。
• ドキュメントとタイムスタンプの共同モデリングを実現し、交換可能性と共役事前分布による容易な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 固定されたトピック数を仮定せず、柔軟でマルチモーダルな時間的ダイナミクスを捉える非パラメトリックトピックモデルは、トピックの流行に適切に対応できるか？
• RQ2 尤度とドキュメント補完パープレキシティという指標において、npTOT は TOT や LDA といったパラメトリックモデルと比べてどの程度優れた性能を示すか？
• RQ3 npTOT は、季節的や出来事駆動のトレンドのように、複数回にわたってピークを示すトピックを効果的にモデル化できるか？
• RQ4 トピック間で時間成分を共有することで、類似した時間的パターンを示す関連トピックのモデリングがどの程度向上するか？
• RQ5 npTOT は、地理的位置やその他の文脈変数といった高次元の共変量にも一般化可能か？

主な発見

• npTOT は、すべての3つのテストデータセット（Twitter、State of the Union、NIPS）で最高の同時対数尤度を達成し、LDA や TOT、ベースラインモデルを顕著に上回った。
• npTOT は、時間的情報を効果的に活用することで、保留されたテキストのパープレキシティを低減し、すべてのデータセットで競合モデルと比較して最低のパープレキシティスコアを記録した。
• Twitter データセットでは、npTOT はエジプト革命トピックを持続的なピークと緩やかな減衰として捉え、TOT が示す急激な低下よりも現実的であった。
• モデルは、戦争1812年戦争と1807年禁輸法といった複数回のピークにわたる同じトピックを再利用でき、時間的再利用の成功を示した。
• 英語トピックとアラビア語トピック間で時間成分を共有した結果、時間的ダイナミクスが相関しており、モデルが共通のクロスリンガルトピックトレンドを学習できることを確認した。
• トピック数が増加するにつれ、TOT-Multimodal は npTOT の性能に近づくことが確認され、モデルの柔軟性と非パラメトリックトピック発見の利点が裏付けられた。