[論文レビュー] Gaussian Mixture Embeddings for Multiple Word Prototypes

Xinchi Chen, Xipeng Qiu+2 more|arXiv (Cornell University)|Nov 19, 2015

Topic Modeling参考文献 22被引用数 8

ひとこと要約

本稿では、語の意味を埋め込み空間内でのガウス混合分布として表現するガウス混合スキップグラム（GMSG）および動的GMSG（D-GMSG）モデルを提案する。各成分は語の意味を表す。固定ベクトルではなく確率的分布として語の意味をモデル化することで、KLダイバージェンスなどの異なる距離尺度を用いた場合に、ハイパニムィーなどのより豊かな意味関係を捉えることができ、語の類似性および語の意味解釈のベンチマークで点ベースのモデルを上回る性能を発揮する。

ABSTRACT

Recently, word representation has been increasingly focused on for its excellent properties in representing the word semantics. Previous works mainly suffer from the problem of polysemy phenomenon. To address this problem, most of previous models represent words as multiple distributed vectors. However, it cannot reflect the rich relations between words by representing words as points in the embedded space. In this paper, we propose the Gaussian mixture skip-gram (GMSG) model to learn the Gaussian mixture embeddings for words based on skip-gram framework. Each word can be regarded as a gaussian mixture distribution in the embedded space, and each gaussian component represents a word sense. Since the number of senses varies from word to word, we further propose the Dynamic GMSG (D-GMSG) model by adaptively increasing the sense number of words during training. Experiments on four benchmarks show the effectiveness of our proposed model.

研究の動機と目的

• 語の意味の多義性問題に、語を単一のベクトルではなく複数の意味としてモデル化することで対処すること。
• 語を埋め込み空間内の点ではなく確率分布として表現することで、語間のより豊かな意味関係を可能にすること。
• 訓練中に文脈的証拠に基づいて語の意味の数を動的に適応させることで、語ごとの意味の数の変動をより正確に反映すること。
• 分布表現を活用することで、語の類似性および語の意味解釈のタスクにおける性能を向上させること。

提案手法

• 各語は、埋め込み空間内にガウス混合分布として表現され、各成分が別々の語の意味に対応する。
• モデルはスキップグラムフレームワークを拡張し、語の混合成分と文脈ベクトルとの類似度の重み付き和を用いて、文脈語の尤度を計算する。
• 語の意味の注目度（attention）は、文脈に基づく成分類似度のソフトマックスにより計算される後方確率に基づく。
• 動的GMSG（D-GMSG）変種は、訓練中に文脈的証拠に基づいて語の成分（意味）数を自動的に増加させる。
• 目的関数は、ネガティブサンプリングを用いて、語の混合表現から文脈語を予測する対数尤度を最大化する。
• 異なる距離尺度（例：KLダイバージェンス、ユークリッド距離、コサイン類似度）を用いて語の分布間の類似度を測定し、意味的解釈の多様性を可能にする。

実験結果

リサーチクエスチョン

• RQ1 語の意味をガウス混合分布としてモデル化することで、単一の点ベクトルモデルと比較して意味表現が向上するか？
• RQ2 異なる距離尺度（例：KLダイバージェンス、コサイン類似度）は、埋め込み空間内での語間意味関係の解釈にどのように影響するか？
• RQ3 訓練中に意味の数を学習する動的メカニズムは、語ごとの多義性の真の変動をよりよく反映できるか？
• RQ4 提案されたモデルは、語の類似性および語の意味解釈ベンチマークで、既存のマルチプロトタイプ語埋め込み手法を上回る性能を発揮するか？

主な発見

• GMSGモデルはSCWSベンチマークでスピアマンの順位相関係数64.6を達成し、スキップグラム（63.4）およびMSSG（64.2）を上回った。
• 語の意味解釈のMaxSimC指標は、GMSGで53.6を記録し、MSSGの49.17およびNP-MSSGの50.27を顕著に上回った。
• D-GMSGモデルはSCWSでスピアマンの順位相関係数56.0を達成し、動的意味数適応の有効性を示したが、GMSGほど高い性能ではなかった。
• D-GMSGが学習した意味数の分布は、大多数の語が1つの意味を持つが、意味数が増えるほど頻度が低下しており、自然な多義性分布を反映している。
• KLダイバージェンスを類似度尺度として用いることで、ハイパニムィー関係（例：'fruit'と'apple'）が、コサイン距離やユークリッド距離よりも自然に捉えられた。
• 分散が大きいガウス混合成分（例：'fruit'）は意味的に広範であるのに対し、分散が小さい成分（例：'apple'）は意味的に狭いことがモデルで正しく捉えられており、ハイパニムィーの構造的根拠が示された。