[論文レビュー] Timeline: A Dynamic Hierarchical Dirichlet Process Model for Recovering Birth/Death and Evolution of Topics in Text Stream

Amr Ahmed, Eric P. Xing|arXiv (Cornell University)|Mar 15, 2012

Bayesian Methods and Mixture Models参考文献 19被引用数 147

ひとこと要約

本稿では、時系列的依存関係を有する階層的ディリクレ過程を用いて、テキストストリームにおけるトピックの誕生・消滅、進化するトピック分布、および時間変動するトピックの人気度を動的に推定する非パrametricベイジアンモデルiDTMを提案する。このモデルは、シミュレートされたデータおよび実世界のNIPSデータにおいて、予測性能が優れており、DTMおよびHDPを上回っている。

ABSTRACT

Topic models have proven to be a useful tool for discovering latent structures in document collections. However, most document collections often come as temporal streams and thus several aspects of the latent structure such as the number of topics, the topics' distribution and popularity are time-evolving. Several models exist that model the evolution of some but not all of the above aspects. In this paper we introduce infinite dynamic topic models, iDTM, that can accommodate the evolution of all the aforementioned aspects. Our model assumes that documents are organized into epochs, where the documents within each epoch are exchangeable but the order between the documents is maintained across epochs. iDTM allows for unbounded number of topics: topics can die or be born at any epoch, and the representation of each topic can evolve according to a Markovian dynamics. We use iDTM to analyze the birth and evolution of topics in the NIPS community and evaluated the efficacy of our model on both simulated and real datasets with favorable outcome.

研究の動機と目的

• トピックの人気度、語の分布、およびトピック数が動的に変化する文書ストリームにおける時間的変化するトピック構造をモデル化すること。
• 事前にトピック数を指定せずに、トピックが誕生・消滅・進化するのを許容する非パrametricベイジアンフレームワークを構築すること。
• 十分統計量の動的キャッシュを活用することで、大規模な時系列テキストコレクションにおける効率的な推論を可能にすること。
• 実世界のデータ（例：NIPS国際会議の議事録）において、意味のあるトピックのタイムラインやトレンドを回復できるかどうかを実証的に検証すること。

提案手法

• iDTMは、エポック間の時系列的依存関係をモデル化するため、再帰的チャイナレストランフランチャイズ（RCRF）プロセスを用いる。これにより、トピックの誕生・消滅・進化が可能になる。
• トピックの語分布は、1次マルコフ型の状態空間モデルにより進化し、時間経過に伴い滑らかな遷移を実現する。
• トピックの人気度は、λおよび∆によって制御される時間減衰カーネルを有する∆-次プロセスを用いた「富めるものはますます富む」メカニズムによって進化する。
• 推論を高速化するために、動的に維持されるキャッシュされた十分統計量を用いたギブスサンプリングアルゴリズムを採用する。
• 最適な性能を得るため、ベース測度の分散σ、ランダムウォークの分散ρ、時間減衰パラメータλなどのハイパーパrameterを調整する。
• モデルは、ホールドアウトされた対数尤度（LL）を用いて評価され、シミュレートされたデータおよび実際のNIPSデータにおいて、DTMおよびHDPと比較される。

実験結果

リサーチクエスチョン

• RQ1 トピックモデルは、テキストストリームにおいてどのようにしてトピックの誕生・消滅イベントを動的に回復できるか？
• RQ2 非パrametricモデルは、時間経過に伴う進化するトピック語分布および人気トレンドをどの程度正確に捉えることができるか？
• RQ3 本モデルの予測性能は、DTMやHDPといった既存の動的トピックモデルと比べてどうなるか？
• RQ4 ρ、λ、σといったハイパーパrameterの設定に、モデルの感度はどの程度か？
• RQ5 本モデルは、学術文献における実際の研究トレンドを反映する解釈可能なトピック進化タイムラインを生成できるか？

主な発見

• iDTMは、シミュレートされたデータおよび実際のNIPSデータの両方において、DTMおよびHDPを上回るホールドアウトされた対数尤度を示し、優れた予測精度を示している。
• 『ICA』や『SVM』といったトピックの出現と消滅がNIPSのタイムラインで観察されることから、本モデルはトピックの誕生・消滅を効果的に回復できている。
• 最適な性能はρ ≈ 0.01で達成される。ρを高すぎるとトピックの不整合が生じ、低すぎるとトピック分布が時間経過で固定されてしまう。
• 時間減衰パラメータλはトピックの継続性に影響を与える。λの値が大きいと、トピックが他のトピックの継続とみなされ、トピックの分離が劣化する。
• ベース測度の分散σを[5, 10]の範囲に設定すると、適度にスパースで解釈可能な語分布を持つトピックが得られる。
• 感度分析の結果、ρを低く見積もることは、高めに見積もることよりも害が小さいことが示され、やや低めに見積もってもモデルのロバストネスが保たれている。