[論文レビュー] Dynamic Word Embeddings

Robert Bamler, Stephan Mandt|arXiv (Cornell University)|Feb 27, 2017

Topic Modeling参考文献 7被引用数 108

ひとこと要約

確率的動的スキップグラムモデルは、拡散事前分布と変分推論を用いて時間を通じて連続的な語彙埋込みの軌道を学習し、より滑らかで時間認識的な語義の変化を可能にします。

ABSTRACT

We present a probabilistic language model for time-stamped text data which tracks the semantic evolution of individual words over time. The model represents words and contexts by latent trajectories in an embedding space. At each moment in time, the embedding vectors are inferred from a probabilistic version of word2vec [Mikolov et al., 2013]. These embedding vectors are connected in time through a latent diffusion process. We describe two scalable variational inference algorithms--skip-gram smoothing and skip-gram filtering--that allow us to train the model jointly over all times; thus learning on all data while simultaneously allowing word and context vectors to drift. Experimental results on three different corpora demonstrate that our dynamic model infers word embedding trajectories that are more interpretable and lead to higher predictive likelihoods than competing methods that are based on static models trained separately on time slices.

研究の動機と目的

• タイムスタンプ付きテキストから個々の語の意味の進化を時間軸で捉える。
• 時間特異的埋め込みを潜在拡散過程と結びつけることで、語埋め込みを逐次データへ拡張する。
• すべての時刻ステップを同時に学習するためのスケーラブルな推論アルゴリズム（フィルタリングとスムージング）を開発する。
• 静的な時間分割ベースラインより解釈性と予測尤度の改善を実証する。

提案手法

• 単語ごとに2つの埋め込みベクトル（u_iとv_j）を持つ動的設定へスキップグラムを一般化する。
• 時間発展をガウス事前分布とオ Ornstein-Uhlenbeck 減衰を用いる拡散過程としてモデル化する。
• 2つのスケーラブルな変分推論アルゴリズムを使用: skip-gram filtering と skip-gram smoothing。
• 再パラメータ化と構造化された時間領域の変分分布を用いたブラックボックス変分推論を実装する。
• スムージングでは、時間相関を捉えるために三対角精度行列を持つ因子分解された時系列ガウス分布を用いる。
• 大規模コーパス（Google Books, State of the Union, Twitter）で評価し、静的ベースラインと予測尤度を比較する。

実験結果

リサーチクエスチョン

• RQ1 語埋め込みの軌道を、別個の時間ビンに分けるのではなく、連続的に時間を通じて学習できるか？
• RQ2 動的埋め込みは、静的な時間分割モデルより滑らかな軌道と解釈しやすい意味の変化を生み出すか？
• RQ3 時間を跨る情報共有は、特に小さな時間スライスで保留データに対する予測性能を向上させるか？
• RQ4 推論方式の違い（フィルタリングとスムージング）は、意味の進化の追跡においてどのように比較されるか？
• RQ5 長期間にわたり動的にモデル化したとき、最も顕著な意味変化を示す語は何か？

主な発見

• 動的スキップグラムモデルは、静的ベースラインより滑らかな語の軌道を生み出す。
• 動的フィルタリングとスムージングは、静的モデルより保留データでの予測尤度が高く、特に小規模コーパスで顕著である。
• 埋め込み軌道は、技術関連語の変化など、徐々に動く意味的シフトを解釈可能に示す。
• スムージング（DSG-S）は、過去と未来の時刻の情報を両方活用することで、一般にフィルタリング（DSG-F）を上回る。
• 長期間にわたる顕著な意味の漂移を自動的に特定することを可能にする。