[論文レビュー] Probabilistic FastText for Multi-Sense Word Embeddings

Ben Athiwaratkun, Andrew Gordon Wilson+1 more|arXiv (Cornell University)|Jun 7, 2018

Topic Modeling参考文献 18被引用数 31

ひとこと要約

本稿では、サブワードn-gram表現とガウス混合密度を組み合わせることで、多義的で不確実性を考慮した単語埋め込みを学習する新規モデル、Probabilistic FastText (pft) を提案する。各単語をn-gramから導出された成分平均を持つガウス混合としてモデル化することで、pftは語の類似性および意味解釈のベンチマークで最先端の性能を達成し、特にレアワードや未知語に対してFastText や先行の確率的モデルをそれぞれ3.7%および3.1%上回る。

ABSTRACT

We introduce Probabilistic FastText, a new model for word embeddings that can capture multiple word senses, sub-word structure, and uncertainty information. In particular, we represent each word with a Gaussian mixture density, where the mean of a mixture component is given by the sum of n-grams. This representation allows the model to share statistical strength across sub-word structures (e.g. Latin roots), producing accurate representations of rare, misspelt, or even unseen words. Moreover, each component of the mixture can capture a different word sense. Probabilistic FastText outperforms both FastText, which has no probabilistic model, and dictionary-level probabilistic embeddings, which do not incorporate subword structures, on several word-similarity benchmarks, including English RareWord and foreign language datasets. We also achieve state-of-art performance on benchmarks that measure ability to discern different meanings. Thus, the proposed model is the first to achieve multi-sense representations while having enriched semantics on rare words.

研究の動機と目的

• 辞書ベースの単語埋め込みがレアワード、スペルミス、または未観測単語を表現する際の限界を解消すること。
• サブワードレベルの表現に不確実性と複数の意味を統合すること。
• FastText の特徴（サブワード共有）と確率的埋め込みの長所（多義的モデリング）を統合し、より優れた意味的品質を実現するモデルを開発すること。
• ハイパーパramータのチューニングなしで、低リソース言語および外国語にゼロショット一般化を可能にすること。

提案手法

• 各単語をガウス混合密度（pft-gm）として表現し、各成分の平均をn-gramベクトルの和とする。
• n-gramベクトル（例：'abno'、'bnor'）を用いてサブワード構造を符号化し、関連単語間で統計的強度を転送可能にする。
• 類似性および意味解釈の最適化を目的としたエネルギーに基づくマックスマージン目的関数を用いてモデルを学習する。
• 各混合成分が異なる語の意味を捉えるようにし、マルチモーダル表現を可能にする。
• 柔軟性とモデルの複雑さのバランスを図るため、固定された成分数（K=2）を採用し、K=1をベースラインとする。
• 共有されるサブワードルートを活用することで、単言語および多言語設定の両方でモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 確率的密度モデリングを用いたサブワードレベル表現は、レアワードや未観測単語の意味的品質を向上させることができるか？
• RQ2 n-gramベクトル上のガウス混合モデルは、1つの埋め込みで複数の語の意味を効果的に解釈できるか？
• RQ3 不確実性と多義的モデリングの統合は、語の類似性および意味分離ベンチマークでの性能にどのように影響を与えるか？
• RQ4 ハイパーパramータの再調整なしで、モデルは低リソースおよび外国語データセットにどの程度一般化できるか？

主な発見

• pftは語の類似性ベンチマークにおいて、FastText より平均で3.7%の加重改善を達成し、レアワードや外国語データセットにも適用可能である。
• 同様のベンチマークにおいて、辞書レベルの確率的埋め込み（例：w2gm）より3.1%の改善を示し、優れた意味的品質を示している。
• 意味解釈ベンチマーク（SCWS）では、pft-gmが最先端の性能を達成し、先行モデルであるw2gmを1.0%上回った。
• 最近接近傍解析により、各混合成分が「voler」を「盗む」として「飛ぶ」としての異なる意味を明確に捉えていることが確認され、分離可能で解釈可能な表現であることが示された。
• モデルは外国語に成功裏に一般化し、ハイパーパramータの調整なしに、複数の外国語語の類似性データセットで FastText を上回った。
• K=2の成分であっても、モデルは1単語あたり2つ以上の意味を捉えられ、埋め込み空間における意味的に異なる近傍のクラスタリングが可能であることが示された。