[論文レビュー] Dynamic Bernoulli Embeddings for Language Evolution

Maja Rudolph, David M. Blei|arXiv (Cornell University)|Mar 23, 2017

Language and cultural evolution参考文献 5被引用数 16

ひとこと要約

本稿では、ガウスのランダムウォークを介して時間とともに変化する潜在変数として単語埋め込みをモデル化する確率的フレームワーク、ダイナミック・バーナウリ埋め込みを提案する。この手法は、米国上院議会議事録、ACMコンピュータサイエンスの要約、arXivの機械学習論文といった歴史的テキストにおいて、語の意味の変化を捉える点で、静的および独立に学習された埋め込みよりも優れている。

ABSTRACT

Word embeddings are a powerful approach for unsupervised analysis of language. Recently, Rudolph et al. (2016) developed exponential family embeddings, which cast word embeddings in a probabilistic framework. Here, we develop dynamic embeddings, building on exponential family embeddings to capture how the meanings of words change over time. We use dynamic embeddings to analyze three large collections of historical texts: the U.S. Senate speeches from 1858 to 2009, the history of computer science ACM abstracts from 1951 to 2014, and machine learning papers on the Arxiv from 2007 to 2015. We find dynamic embeddings provide better fits than classical embeddings and capture interesting patterns about how language changes.

研究の動機と目的

• 大規模な歴史的テキストコレクションにおける語の意味の時間的変化をモデル化すること。
• 時間連続的な確率的フレームワークを構築し、時間スライスにわたる逐次的潜在変数をサポートすること。
• 時間的側面に共通する潜在次元を活用することで、データが少ない時期の表現学習を向上させること。
• 動的近傍解析とドリフト指標を用いて、意味的シフトの解釈可能性のあるインサイトを提供すること。
• 縦断的テキストデータにおいて、予測性能と解釈可能性の両面で、静的および独立に学習された埋め込みを上回ること。

提案手法

• 条件付き語の共起確率をパrametricモデルとして扱い、指数型分散族フレームワーク内で単語埋め込みを定式化する。
• 時間スライスにわたる埋め込みベクトルにガウスのランダムウォーク事前分布を課し、滑らかな時間的ドリフトをモデル化する。
• スケーラブルな大規模な歴史的コーパスへの適合を可能にするため、確率的最適化を用いる。
• 時間スライスによるデータ分割（例：1年ごとのスライス）を適用し、数十年にわたる語の使用法の変化をモデル化する。
• 埋め込みベクトルの1次元投影を用いて、時間経過に伴う「意味」のドリフトを可視化する。
• 初期と最終の埋め込み間のユークリッド距離として絶対的ドリフトを計算し、意味的変化の度合いを定量化する。

実験結果

リサーチクエスチョン

• RQ1 大規模な歴史的テキストコレクションにおける語の意味の時間的変化をモデル化するには、どのように単語埋め込みを適応させることができるか？
• RQ2 動的埋め込みは、静的または独立に学習された埋め込みと比較して、予測性能をどの程度向上させるか？
• RQ3 『intelligence』、『iraq』、『prostitution』といった語の動的近傍解析から、どのような意味的変化のパターンが明らかになるか？
• RQ4 意味が安定している語（例：『computer』）や複数の意味を持つ語（例：『values』）は、その埋め込み近傍でどのように変化するか？
• RQ5 『prostitution』が道徳的非難の対象から、ハラスメントや人権問題に関連する用語へと変化するなど、社会的・技術的議論のシフトを動的埋め込みは検出できるか？

主な発見

• 予測性能の観点から、語の共起に関するデータへのフィット感度を測定したところ、動的埋め込みは静的または独立に学習された埋め込みよりも優れている。
• 米国上院議会議事録コーパスにおいて、『iraq』は最大の絶対的ドリフトを示しており、地理的参照から戦争、テロリズム、政治的対立との関連へと変化している。
• ACMの要約における『intelligence』の埋め込み近傍は、政府の諜報活動から認知的知能、そして人工知能へと進化しており、技術的議論の変化を捉えている。
• 『prostitution』のように希少で使用頻度が低い語ですら、意味的ドリフトが有意義に現れており、道徳的非難からハラスメントや人権問題への関連へとシフトしている。
• 動的埋め込みは、2008年の『jobs』が『create』や『opportunities』と関連していることから、当時の経済的楽観主義への議論のシフトを明らかにしている。
• 本モデルは、意味の進化（例：『computer』）、支配的意味のシフト（例：『values』）、文脈的再構成（例：『iraq』）といった、複数のタイプの意味的変化を効果的に捉えている。