[論文レビュー] Generalizing Word Embeddings using Bag of Subwords

Jinman Zhao, Sidharth Mudgal+1 more|arXiv (Cornell University)|Sep 12, 2018

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、語を文字n-gram（部分文字列）の集合とみなすことで、事前学習済み単語ベクトルを未知語（OOV）に一般化する、部分語レベルの単語埋め込みモデルであるBag-of-Substring（BoS）を提案する。この手法は固定語彙からの部分語ベクトル関係を学習し、23言語における語の類似度と統合的品詞・屈折語法的タグ付けの両面で最先端の性能を達成し、文脈に依存しない形で語の屈折構造を効果的に一般化することを示している。

ABSTRACT

We approach the problem of generalizing pre-trained word embeddings beyond fixed-size vocabularies without using additional contextual information. We propose a subword-level word vector generation model that views words as bags of character $n$-grams. The model is simple, fast to train and provides good vectors for rare or unseen words. Experiments show that our model achieves state-of-the-art performances in English word similarity task and in joint prediction of part-of-speech tag and morphosyntactic attributes in 23 languages, suggesting our model's ability in capturing the relationship between words' textual representations and their embeddings.

研究の動機と目的

• 固定語彙の単語埋め込みにおける未知語（OOV）問題に対処するため、事前学習済みベクトルを稀な語や未観測語に一般化すること。
• 文脈情報に依存せず、語の表層形と事前学習済みベクトルのみを用いてOOV語のベクトルを推定する手法を開発すること。
• 部分語コンポーネントを通じて語の屈折的・構文的特徴を捉え、希少語やアグルーティブ言語の語に対して一貫したベクトル推定を可能にすること。
• 多様な言語、特にリソースが限られた言語や屈折的特徴が顕著な言語環境において、意味的・文法的特徴の一般化能力を評価すること。
• 従来の部分語またはRNNベースのOOV埋め込み手法とは異なり、単純で効率的かつ文脈非依存な代替手法を提供すること。

提案手法

• モデルは各語を文字n-gram（長さnの部分文字列）の集合（bag）として扱い、語を部分語ユニットの集合として表現する。
• 事前学習済み埋め込みセット（例：Polyglot）から得られる語彙内語のデータを用いて、部分語n-gramから単語ベクトルへのマッピングを学習する。
• 推論段階では、OOV語の学習済み部分語ベクトルを平均化または重み付き合成により統合し、最終的な単語ベクトルを生成する。
• 語彙内語の予測ベクトルと真値ベクトルの差を最小化する損失関数を用いて、エンドツーエンドでモデルを訓練する。
• 再帰的またはアテンションベースのアーキテクチャを避けることで、効率性を維持する。
• 語の屈折構造が意味的・構文的情報を含むと仮定し、部分語の合成性を活用することでOOV語に一般化する。

実験結果

リサーチクエスチョン

• RQ1 文脈情報を用いずに、部分語レベルのモデルが事前学習済み単語埋め込みをOOV語に一般化できるか？
• RQ2 部分語の集合（bag-of-subwords）アプローチは、従来の部分語またはRNNベースの手法と比較して、語の屈折的・構文的関係をどの程度効果的に捉えられるか？
• RQ3 本モデルは、多様な言語において、内在的（語の類似度）および外在的（品詞タグ付け）評価で最先端の性能を達成できるか？
• RQ4 モデルの性能は、言語の屈折的豊かさや言語系統の特性にどの程度依存するか？
• RQ5 アグルーティブ性や屈折的複雑さの異なる言語にわたって、本モデルは一貫した一般化性能を示せるか？

主な発見

• BoSモデルは、同じ設定下で先行する部分語レベルモデルを上回り、英語の語類似度タスクで最先端の性能を達成した。
• 23言語にわたる統合的品詞タグ付けおよび屈折語法的属性予測において、BoSはMIMICKおよびランダムベースラインを上回り、一部の言語ではF1スコアで最大0.125ポイントの向上を示した。
• 特にトルコ語、インドネシア語、フィンランド語などのアグルーティブ言語において顕著な向上を示し、語の屈折構造を効果的に捉えていることが示された。
• ゲルマン語族やラテン語族の言語（英語、スウェーデン語、スペイン語など）に対しても、MIMICKを常に上回り、タスク平均でF1スコアが0.03〜0.06向上した。
• 英語の品詞タグ付けタスクにおいて、BoSは0.947のマイクロF1スコアを達成し、同じ評価設定下でMIMICKを0.089ポイント上回った。
• 本手法は未観測語に対しても効果的に一般化できており、文脈がなくても部分語の合成性が言語的知識を符号化できることを示している。