[論文レビュー] Embedding Words as Distributions with a Bayesian Skip-gram Model

Arthur Bražinskas, Serhii Havrylov+1 more|arXiv (Cornell University)|Nov 29, 2017

Topic Modeling参考文献 6被引用数 21

ひとこと要約

本稿では、語を固定されたベクトルではなく確率密度分布として表現するベイジアンスキップグラムモデルを提案する。これにより、近似的な事後分布推論を用いて文脈依存の不確実性モデリングが可能になる。先行手法とは異なり、語固有の事前分布から語の分散表現を生成し、文脈に応じた事後密度を導出する。変分オートエンコーダーの枠組みを用いて、語の置換と標準的なNLPベンチマークにおいて優れた性能を示す。

ABSTRACT

We introduce a method for embedding words as probability densities in a low-dimensional space. Rather than assuming that a word embedding is fixed across the entire text collection, as in standard word embedding methods, in our Bayesian model we generate it from a word-specific prior density for each occurrence of a given word. Intuitively, for each word, the prior density encodes the distribution of its potential 'meanings'. These prior densities are conceptually similar to Gaussian embeddings. Interestingly, unlike the Gaussian embeddings, we can also obtain context-specific densities: they encode uncertainty about the sense of a word given its context and correspond to posterior distributions within our model. The context-dependent densities have many potential applications: for example, we show that they can be directly used in the lexical substitution task. We describe an effective estimation method based on the variational autoencoding framework. We also demonstrate that our embeddings achieve competitive results on standard benchmarks.

研究の動機と目的

• 固定された語の埋め込み表現が多義語や文脈依存的な意味を捉えることの限界を是正すること。
• 語の意味を単一のベクトルではなく、不確実性や意味のばらつきを反映する分布としてモデル化すること。
• 生成的ベイジアンフレームワークから事後密度を導出し、文脈に特化した推論を可能にすること。
• これらの文脈に依存する分布が、語の置換といった下流のNLPタスクにおける実用的価値を示すこと。

提案手法

• モデルはスキップグラムフレームワークのベイジアン拡張を用い、各語の出現が語固有の事前分布から潜在的な意味を抽出する。
• エンコーダーが文脈に応じた語の意味に関する事後分布を生成する、変分オートエンコーダー（VAE）フレームワークを採用する。
• 事前分布は語ごとにパラメータ化され、潜在的な意味をエンコードするデータ依存の事前分布として機能する。
• 事後分布は変分推論により推論され、各語の文脈における不確実性モデリングを可能にする。
• 負例サンプリングを用いた確率的勾配降下法により、変分下界（ELBO）を最適化する。
• 事前分布および事後分布の両方で球面共分散行列が使用され、訓練の安定性と性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 多義語や意味の不確実性を捉えるために、語の埋め込み表現を確率密度として効果的にモデル化できるか？
• RQ2 文脈に特化した事後分布は、語の置換やその他のNLPタスクの性能向上に寄与するか？
• RQ3 文脈に依存する事後分布は、固定された分布を用いた埋め込み表現と比較して、語の意味をどのようによりよくモデル化できるか？
• RQ4 語の意味を分布としてモデル化することで、含意関係のような意味関係の捉えがよくなっているか？

主な発見

• ベイジアンスキップグラムモデルは、文脈に応じた文脈特化型の事後分布を効果的に生成し、たとえば「kiwi」が鳥関連の文脈に現れた際に「bird」に近づくような意味のシフトを反映している。
• 語の置換タスクにおいて最先端の性能を達成しており、事後分布の実用的価値が語の置換予測に寄与していることが示された。
• 文脈に依存する事後分布は、多義語の意味のばらつきを捉える上で、固定された分布を用いた埋め込み表現を上回っている。
• 標準的な語の類似度および類推ベンチマークでも優れた性能を示し、スキーップグラムおよびガウス埋め込み（W2G）ベースラインと同等の結果を達成した。
• 球面共分散行列は対角またはフル共分散よりも優れた性能を示し、文脈特化型モデリングには等方的不確実性が十分であることが示唆された。
• レベルセットの包含関係を用いた含意の表現能力が妥当性を確認されたが、直接的なKLダイバージェンスの使用は含意検出には問題があることが判明した。