[論文レビュー] Scalable Generalized Dynamic Topic Models

Patrick Jähnichen, Florian Wenzel+2 more|arXiv (Cornell University)|Mar 21, 2018

Data Management and Algorithms被引用数 18

ひとこと要約

本稿では、ウィーナー過程の事前分布を任意のガウス過程の事前分布に置き換えることで、従来の動的トピックモデルを一般化したスケーラブルな一般化動的トピックモデルを提案する。これにより、イベントの局所化、長期記憶、滑らかな変化といった多様な時間的ダイナミクスの柔軟なモデリングが可能になる。誘導点を用いた確率的変分ベイズ推論により、大規模なテキストデータ上でもスケーラブルな学習が達成され、予測尤度においてベースラインモデルを上回り、実世界のデータセットにおいて新たな時間的パターンを明らかにする。

ABSTRACT

Dynamic topic models (DTMs) model the evolution of prevalent themes in literature, online media, and other forms of text over time. DTMs assume that word co-occurrence statistics change continuously and therefore impose continuous stochastic process priors on their model parameters. These dynamical priors make inference much harder than in regular topic models, and also limit scalability. In this paper, we present several new results around DTMs. First, we extend the class of tractable priors from Wiener processes to the generic class of Gaussian processes (GPs). This allows us to explore topics that develop smoothly over time, that have a long-term memory or are temporally concentrated (for event detection). Second, we show how to perform scalable approximate inference in these models based on ideas around stochastic variational inference and sparse Gaussian processes. This way we can train a rich family of DTMs to massive data. Our experiments on several large-scale datasets show that our generalized model allows us to find interesting patterns that were not accessible by previous approaches.

研究の動機と目的

• 従来の動的トピックモデルがウィーナー過程の事前分布に制限されており、スケーラビリティに欠けるという限界を克服すること。
• トピックの進化に任意のガウス過程の事前分布を許容することで、動的トピックモデリングを一般化し、イベント検出や長期記憶といったより豊かな時間的ダイナミクスを可能にすること。
• 大規模なテキストデータ向けに、確率的変分ベイズ推論とスパースガウス過程に基づくスケーラブルな近似ベイズ推論アルゴリズムを開発すること。
• 一般化モデルが予測性能を向上させ、多様なデータセットにおけるトピック進化の新たな定性的な洞察を明らかにできることを示すこと。

提案手法

• モデルは、トピック進化を潜在的ガウス過程（GP）としてモデル化することで、従来のウィーナー過程ではなく、多様な時間的相関構造を許容する。
• 計算複雑度を時間刻みの立方乗から誘導点の立方乗に削減するため、誘導点を用いたスパースGP近似を採用することでスケーラビリティを実現する。
• 自然勾配更新を閉形式で行う確率的変分ベイズ推論を用いることで、数値サンプリングや反復的ソルバを必要とせず、効率的かつ安定した最適化が保証される。
• 変分ベイズ推論フレームワークは、任意のGP共分散カーネル（例：オルンシュタイン＝ウーレン、コーシー、RBF）をサポートしており、異なる時間的ダイナミクスの柔軟なモデリングが可能である。
• データのサブサンプリングと大規模ドキュメントコレクションにおける効率的最適化を可能にする、周辺尤度の下界を用いる。
• スパースGPフレームワークと確率的最適化を活用することで、大規模データセットにスケーリング可能な推論アルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 ウィーナー過程を超えて、イベントの局所化や長期記憶といったより複雑な時間的ダイナミクスを捉えるために、動的トピックモデルを一般化できるか？
• RQ2 非マルコフ的で非マルコフ的な事前分布を持つ一般化動的トピックモデルにおいて、スケーラブルな近似ベイズ推論を達成する方法は何か？
• RQ3 異なるGPカーネル（例：OU、コーシー、RBF）を用いることで、多様なテキストコーパスにおけるトピック進化モデリングにどのような定性的・定量的利点が得られるか？
• RQ4 提案手法は、ホールドアウトデータにおける予測性能において、標準的な動的トピックモデルを上回ることができるか？
• RQ5 モデルは、歴史的出来事や政治的選挙など、解釈可能な時間局所的トピックをどの程度明らかにできるか？

主な発見

• ガウス過程の事前分布を用いた一般化動的トピックモデルは、すべてのデータセットでウィーナー過程ベースラインを予測誤差（per-word predictive perplexity）の観点で一貫して上回った：SoUで1.45575、NIPSで1.48105、NYTで1.42073（コーシー核を使用）。
• オルンシュタイン＝ウーレン核は、戦争や選挙といったイベント駆動型のトピック活動の正確な局所化に効果を発揮した。
• NIPSおよびSoUデータセットにおいて、コーシー核が優れた性能を示し、長期記憶効果を捉え、未知のデータへの一般化能力が優れていた。
• モデルは、州連邦演説（State of the Union）のスピーチにおいて、第一次世界大戦、第二次世界大戦、ベトナム戦争に対応するピークを示す時間局所的トピックを正確に同定した。関連キーワードとして「attack」と「japanese」が適切な時期に出現した。
• RBFおよびコーシー核は滑らかな語の軌道推定を生み出したが、OU核はシャープでイベント特化型のトピック活性化を可能にし、カーネル選択の重要性が異なる時間的現象のモデリングに寄与することを示した。
• SoUデータセットで学習した際、すべてのカーネルにおいてELBO目的関数が最適値に収束した。推論アルゴリズムの安定性とスケーラビリティが裏付けられた。