[論文レビュー] Continuous Time Dynamic Topic Models

Chong Wang, David M. Blei+1 more|arXiv (Cornell University)|Jun 13, 2012

Topic Modeling参考文献 27被引用数 323

ひとこと要約

この論文は、文書コレクションにおけるトピックの変化を連続時間で追跡するためにブラウン運動を用いる確率的トピックモデル、連続時間動的トピックモデル（cDTM）を紹介する。離散的な時間ボックスを避けることで、トピック変化の細分化されたモデリングを可能にし、スパースな変分推論アルゴリズムを採用することで、時間分解能が高くなるに従い効率的にスケーリングされ、ニュースコーパスにおける予測の perplexity とタイムスタンプ予測タスクの両方で、離散時間モデルを上回る性能を発揮する。

ABSTRACT

In this paper, we develop the continuous time dynamic topic model (cDTM). The cDTM is a dynamic topic model that uses Brownian motion to model the latent topics through a sequential collection of documents, where a "topic" is a pattern of word use that we expect to evolve over the course of the collection. We derive an efficient variational approximate inference algorithm that takes advantage of the sparsity of observations in text, a property that lets us easily handle many time points. In contrast to the cDTM, the original discrete-time dynamic topic model (dDTM) requires that time be discretized. Moreover, the complexity of variational inference for the dDTM grows quickly as time granularity increases, a drawback which limits fine-grained discretization. We demonstrate the cDTM on two news corpora, reporting both predictive perplexity and the novel task of time stamp prediction.

研究の動機と目的

• テキストコレクションにおけるトピックの変化を、離散的な時間間隔ではなく連続時間でモデリングすること。
• 時間分解能が高くなるに従い、離散時間動的トピックモデルのスケーラビリティの限界を克服すること。
• 時間ボックス化の必要を排除することで、トピック変化の細分化された追跡を可能にすること。
• スパarsity を活用した効率的な推論アルゴリズムを設計し、大規模な文書時系列の解析を可能にすること。
• 予測性能と、タイムスタンプ予測という新規タスクの両方でモデルを評価すること。

提案手法

• cDTMは、ブラウン運動によって駆動される確率的過程としてトピック分布をモデリングし、連続時間における滑らかなトピックの進化を可能にする。
• 各文書のトピック割合が、ドリフト行列と拡散行列によって支配される潜在的な拡散過程に従うと仮定する。
• 平均場近似を用いて潜在トピックの事後分布を近似する変分推論アルゴリズムを開発する。
• 単語-トピック割り当てのスパarsity を活用することで、多数の時間ポイントにわたって効率的にスケーリングできる。
• トピック軌道を表現するために時間に対してガウス過程の事前分布を用い、ハイパーパrameterはデータから学習する。
• 推論手順は、高時間分解能を持つ大規模な文書コレクションを効果的に処理できるように最適化されている。

実験結果

リサーチクエスチョン

• RQ1 離散的な時間間隔ではなく連続時間で用いることで、トピックの進化をより柔軟かつ正確にモデリングできるか？
• RQ2 cDTMは、離散時間モデルと比較して、文書作成時のタイムスタンプを予測する性能が優れているか？
• RQ3 連続時間の定式化により、大規模な文書コレクションにおけるトピック変化の細分化されたモデリングが可能になるか？
• RQ4 時間ポイントの数に応じてスケーリングできる、連続時間トピックモデル向けの効率的な推論アルゴリズムを設計できるか？
• RQ5 予測 perplexity とタイムスタンプ予測精度の両面で、cDTMは既存の動的トピックモデルと比較して優れているか？

主な発見

• cDTMは、2つのニュースコーパスにおいて、離散時間動的トピックモデル（dDTM）よりも低い予測 perplexity を達成しており、より優れた生成性能を示している。
• cDTMは、タイムスタンプ予測という新規タスクにおいて、dDTMを顕著に上回り、文書の作成時刻を正確に推定できる能力を示している。
• 連続時間の定式化により、高分解能の時間ボックスを用いる必要がなく、計算負荷の増大を回避した細分化されたトピック進化モデリングが可能になった。
• 変分推論アルゴリズムは時間の経過に伴い効率的にスケーリングされ、多数の時間ポイントを持つ大規模な文書コレクションの解析が可能になった。
• ブラウン運動の使用により、単語使用パターンの時間的変化を自然かつ滑らかに表現でき、徐々に変化する傾向を捉えられる。
• 実験結果から、cDTMが推定するトピック軌道は、離散時間モデルに比べてより一貫性があり、時間的整合性が高いことが示された。