[論文レビュー] A Survey On Neural Word Embeddings

Erhan Sezerer, Selma Tekır|arXiv (Cornell University)|Oct 5, 2021

Topic Modeling参考文献 139被引用数 5

ひとこと要約

本調査は、Word2Vec や GloVe などの初期の静的埋め込みから、BERT や RoBERTa などの高度な文脈適合モデルに至るまで、ニューラル単語埋め込みの進化を網羅的にレビューしている。ニューラル言語モデルが構文的・意味的規則性を捉える分散表現を可能にし、自然言語処理（NLP）タスク全体での性能を著しく向上させた。最新のモデルは GLUE や SQuAD といったベンチマークで人間水準の結果を達成している。

ABSTRACT

Understanding human language has been a sub-challenge on the way of intelligent machines. The study of meaning in natural language processing (NLP) relies on the distributional hypothesis where language elements get meaning from the words that co-occur within contexts. The revolutionary idea of distributed representation for a concept is close to the working of a human mind in that the meaning of a word is spread across several neurons, and a loss of activation will only slightly affect the memory retrieval process. Neural word embeddings transformed the whole field of NLP by introducing substantial improvements in all NLP tasks. In this survey, we provide a comprehensive literature review on neural word embeddings. We give theoretical foundations and describe existing work by an interplay between word embeddings and language modelling. We provide broad coverage on neural word embeddings, including early word embeddings, embeddings targeting specific semantic relations, sense embeddings, morpheme embeddings, and finally, contextual representations. Finally, we describe benchmark datasets in word embeddings' performance evaluation and downstream tasks along with the performance results of/due to word embeddings.

研究の動機と目的

• ニューラル単語埋め込みおよびその理論的基盤に関する体系的文献レビューを提供すること。
• 静的表現から文脈適合表現に至る単語埋め込みの進化を分析し、重要な進展を強調すること。
• GLUE や SQuAD を含むベンチマークデータセットおよび下流の NLP タスクにおけるパフォーマンスを評価すること。
• 意味に敏感な、語彙的構造的、知識強化型埋め込みなどの特殊な拡張を検討すること。
• BERT や RoBERTa などの文脈適合モデルが、現在の意味的表現学習の基準とされていることを位置づけること。

提案手法

• 分散仮説およびニューラルネットワークにおける分散表現に関する基礎的研究を調査すること。
• 単語埋め込みモデルを、初期の静的埋め込み（例：Skip-Gram、GloVe）、関係固有の埋め込み、意味埋め込み、語素埋め込み、文脈適合表現のカテゴリーに分類すること。
• 次単語の文脈を予測する神経言語モデルのアーキテクチャを分析し、誤差逆伝播を用いた単語表現の学習を検討すること。
• GLUE、SQuAD、SQuAD 2.0 などの標準化されたベンチマークでモデルを評価し、F1、正答率、相関係数（ρ）などの指標を用いること。
• TOEFL、ESL-50、MRPC などのデータセットで、一貫した評価プロトコルに従ってモデル間のパフォーマンスを比較すること。
• 変換器とマスキング言語モデルを用いた固定でない、文脈に依存する表現への移行を強調すること。

実験結果

リサーチクエスチョン

• RQ1 ニューラル単語埋め込みは、従来のカウントベースおよびbag-of-words表現に比べて、意味的・構文的規則性をどのように改善しているか？
• RQ2 静的から文脈適合型単語埋め込みへの移行を可能にした、主なアーキテクチャ的およびトレーニングの革新は何か？
• RQ3 意味に敏感な、語彙的構造的、知識強化型埋め込みなどの異なる埋め込みタイプは、意味関係タスクでのパフォーマンスをどの程度向上させるか？
• RQ4 事前学習済みの文脈適合モデル、例えば BERT や RoBERTa は、多様な NLP ベンチマークでどのように最先端の結果を達成しているか？
• RQ5 今後の意味的表現学習において、マルチモーダルおよび経験的情報は果たす役割は何か？

主な発見

• BERT は SQuAD 2.0 で 89.1% の F1 スコアを達成し、人間水準に近い性能を示した。
• GLUE ベンチマークでは、RoBERTa（アンサンブル）が MNLI で 90.8/90.2、RACE で F1 92.2 を記録し、以前のモデルを上回った。
• XLNet（アンサンブル）は MNLI で 98.6% の正答率、WNLI で 91.8% を達成し、タスク間での優れた汎化性能を示した。
• BERT は SST-2 で F1 94.9%、MRPC で 89.3% を記録し、CBOW や BiLSTM などの以前のモデルを大きく上回った。
• Skip-Gram（TOEFL-80 で 83.7%）と BERT（SST-2 で 94.9%）のパフォーマンス格差は、文脈に依存する表現の影響を浮き彫りにした。
• ALBERT や ERNIE 2.0 はそれぞれ MNLI で 95.3% および 94.6% を達成し、パラメータ効率的でかつ事前学習戦略の有効性を示した。