[論文レビュー] The Dynamic Embedded Topic Model

Adji Bousso Dieng, Francisco J. R. Ruiz+1 more|arXiv (Cornell University)|Jul 12, 2019

Computational and Text Analysis Methods参考文献 57被引用数 26

ひとこと要約

動的埋め込みトピックモデル（d-ETM）は、動的潜在ディリクレ配分（d-lda）と単語埋め込みを統合し、文書コレクションにおける時間的変化を伴うトピックをモデル化する。トピックを単語埋め込み空間内の時変ベクトルとして表現し、滑らかな軌道を確保するためのランダムウォーク事前分布を用いることで、d-ldaに比べてトピックの整合性と多様性が向上し、トレーニング時間も短縮される。

ABSTRACT

Topic modeling analyzes documents to learn meaningful patterns of words. For documents collected in sequence, dynamic topic models capture how these patterns vary over time. We develop the dynamic embedded topic model (D-ETM), a generative model of documents that combines dynamic latent Dirichlet allocation (D-LDA) and word embeddings. The D-ETM models each word with a categorical distribution parameterized by the inner product between the word embedding and a per-time-step embedding representation of its assigned topic. The D-ETM learns smooth topic trajectories by defining a random walk prior over the embedding representations of the topics. We fit the D-ETM using structured amortized variational inference with a recurrent neural network. On three different corpora---a collection of United Nations debates, a set of ACL abstracts, and a dataset of Science Magazine articles---we found that the D-ETM outperforms D-LDA on a document completion task. We further found that the D-ETM learns more diverse and coherent topics than D-LDA while requiring significantly less time to fit.

研究の動機と目的

• 従来のトピックモデルが時間的文書コレクションにおけるレアワードや長尾言語パターンを捉えることの限界を解消すること。
• 静的性質を持つETM（埋め込みトピックモデル）を拡張し、時間経過に伴うトピックの進化をモデル化すること。
• 大規模かつ時系列順序が整った文書コーパスに対して効率的なトレーニングを可能にするスケーラブルな推論手法を開発すること。
• 単語埋め込みと動的トピックモデリングの統合が、d-ldaに比べて予測性能とトピック品質を向上させるかどうかを評価すること。

提案手法

• 各トピックを事前に学習された単語埋め込み空間内の時変ベクトルとしてモデル化し、単語-トピック確率を単語埋め込みとトピック埋め込みの内積から導出する。
• 時間ステップ間でトピック埋め込みにランダムウォーク事前分布を適用し、滑らかで連続的なトピックの進化を保証する。
• 長短期記憶（LSTM）ネットワークを用いて変分事後分布をパrameter化する構造的アモルタイズド変分推論を実装する。
• データサブサンプリングと再パラメータ化勾配を適用し、大規模コーパスにおける確率的最適化とスケーラブルなトレーニングを可能にする。
• 推論中に離散的トピックインジケータを畳み込むことで、確率的要因を介してバックプロパゲーションを可能にし、最適化効率を向上させる。
• 大多数の潜在変数に対して完全因子分解ガウス近似を採用し、トピック埋め込みの軌道にはフル・コアリエンス・ガウス分布を用いて相関を捉える。

実験結果

リサーチクエスチョン

• RQ1 単語埋め込みと動的トピックモデリングを組み合わせることで、時間的文書コレクションにおけるトピックの整合性と多様性が向上するか？
• RQ2 d-ETMは文書補完タスクにおける予測性能でd-ldaを上回るか？
• RQ3 d-ETMの性能向上は、推論手順の影響ではなく、モデル構造そのものに起因するか？
• RQ4 学習されたトピック軌道は、現実の歴史的出来事や言語使用における意味的シフトとどれほど整合性を持つのか？

主な発見

• d-ETMは、United Nations議長討論、ACL要約、Science Magazine記事の3つのコーパスすべてにおいて、d-ldaに比べて文書補完タスクで優れた性能を示し、周辺度が低いことを確認した。
• d-ETMはd-ldaに比べて著しく高い整合性と多様性を持つトピックを生成し、すべてのデータセットでトピック品質（整合性と多様性の積）が向上した。
• d-ETMは、より洗練されたモデル構造を有しながらも、d-ldaに比べて著しく短いトレーニング時間を要し、計算効率に優れたことを示した。
• モデルは時間経過に伴う意味的シフトを効果的に捉えており、1990年代のオゾン層問題から2015年の地球温暖化と排出量への移行を示す気候変動トピックの進化を再現した。
• 単語確率の軌道は歴史的出来事と整合しており、1975年以降にベトナムの関連性が低下した東南アジア関連トピックや、核兵器議論におけるイランの関連性上昇を反映していた。
• アブレーション実験では、同じ推論設定を用いたd-lda（d-lda-rep）はd-ldaより性能が劣り、速度は速いにとどまることから、d-ETMの性能向上は推論手法ではなく、モデル設計そのものに起因することが確認された。