[論文レビュー] Word2Vec: Optimal Hyper-Parameters and Their Impact on NLP Downstream Tasks

Tosin Adewumi, Foteini Liwicki+1 more|arXiv (Cornell University)|Mar 23, 2020

Topic Modeling参考文献 20被引用数 12

ひとこと要約

本稿は、Word2Vecの最適なハイパーパrameterの組み合わせを、内在的（類推、WordSim）および外在的NLPタスク（NER、感情分析）において経験的に同定した。性能はタスクに依存しており、ベクトル次元数が一定以上に増加すると性能が低下することが示された。驚くべきことに、より小さなコーパスが下流タスクで元の1000億語のモデルを上回る性能を示し、大規模なデータが常に優れた埋め込み表現を生むという仮定に疑問を呈した。

ABSTRACT

Word2Vec is a prominent model for natural language processing (NLP) tasks. Similar inspiration is found in distributed embeddings for new state-of-the-art (SotA) deep neural networks. However, wrong combination of hyper-parameters can produce poor quality vectors. The objective of this work is to empirically show optimal combination of hyper-parameters exists and evaluate various combinations. We compare them with the released, pre-trained original word2vec model. Both intrinsic and extrinsic (downstream) evaluations, including named entity recognition (NER) and sentiment analysis (SA) were carried out. The downstream tasks reveal that the best model is usually task-specific, high analogy scores don't necessarily correlate positively with F1 scores and the same applies to focus on data alone. Increasing vector dimension size after a point leads to poor quality or performance. If ethical considerations to save time, energy and the environment are made, then reasonably smaller corpora may do just as well or even better in some cases. Besides, using a small corpus, we obtain better human-assigned WordSim scores, corresponding Spearman correlation and better downstream performances (with significance tests) compared to the original model, trained on 100 billion-word corpus.

研究の動機と目的

• 内在的（類推、WordSim）および外在的（NER、感情分析）NLP評価におけるWord2Vecハイパーパrameter（次元サイズ、エポック数、ウィンドウサイズ、語彙サイズ）の最適な組み合わせを特定すること。
• 大規模なコーパスおよび高い埋め込み次元数が、下流NLPタスクで常に優れた性能をもたらすという仮定に反論すること。
• ハイパーパラメータの選択が、内在的（類推、WordSim）および外在的（NER、感情分析）評価に与える影響を評価すること。
• 高い類推スコアが下流タスクの性能と強く相関しないことの証拠を提示し、タスク固有の最適化の重要性を強調すること。
• より小さなコーパスで学習することでエネルギーと時間の効率が向上することを示し、大規模事前学習データセットに匹敵またはそれを上回る結果が得られることを提唱すること。

提案手法

• Google News（1000億語）、小さなサブセット（1000億語）、および新しい小さなコーパス（BW）の3つの英語コーパスを用いて、連続スキップグラムおよびCBOWアーキテクチャでWord2Vecモデルを学習した。
• 4つのハイパーパラメータを体系的に変化させた：ベクトル次元サイズ（100〜500）、学習エポック数（5〜10）、ウィンドウサイズ（4、8）、語彙サイズ。ヒエラルキー的ソフトマックスとネガティブサンプリングの両方を用いた。
• 内在的性能の評価には、意味的および文法的類推タスク（Google類推データセット）と、意味的類似度のためのWordSim-353を用いた。
• 外在的評価では、名前付きエンティティ認識（GMBデータセット）および感情分析（IMDbデータセット）を実施し、F1スコア、適合率、再現率、正答率を測定した。
• 性能差の統計的有意性を評価するために、95％信頼区間を用いたブートストラップリサンプリングを適用した。
• 多項式補間を用いて、コーパスごとの類推スコアのトレンドに基づき、最適な次元サイズを推定した。

実験結果

リサーチクエスチョン

• RQ1 内在的および外在的NLP評価における、Word2Vecハイパーパラメータ（次元、エポック数、ウィンドウサイズ、語彙サイズ）の最適な組み合わせは何か？
• RQ2 ある閾値を超えてベクトル次元数を増加させると、下流NLPタスクでの性能が低下するか？
• RQ3 より小さなコーパスが、元の1000億語のGoogle Newsコーパスを下回る性能を示すことができるか？
• RQ4 高い内在的類推スコアは、NER や感情分析などの下流タスクでの高い性能とどの程度相関するか？
• RQ5 大規模コーパスで学習したモデルと、より効率的な小さなコーパスで学習したモデルとの間で、性能差が生じるか。その差は統計的に有意か？

主な発見

• NERで最も優れた性能を示したのは、BW w4s1h0という設定のモデルで、開発セットではF1スコア0.679、テストセットでは0.677を記録。元の1000億語モデルを上回った。
• 感情分析では、SW w8s0h0モデルが開発セットでF1スコア0.798、テストセットで0.799を達成。デフォルトのPyTorch埋め込みとほぼ同等で、1000億語モデルを上回った。
• 類推タスクの性能と下流タスクの性能には相関がなかった。1000億語モデルは高い類推スコアを示したが、感情分析では性能が低く（開発セットでF1=0.384）、劣っていた。
• ベクトル次元数を300〜400を超えて増加させると、類推タスクおよび下流タスクの両方の性能が低下し、性能の上限があることが示された。
• より小さなBWコーパスは、元の1000億語モデルよりも優れたWordSimスコア（Spearman相関）と、より優れた下流タスク性能を示した。F1スコア差（感情分析）の95％信頼区間は[0.274, 0.504]であり、統計的に有意であることが示された。
• ブートストラップ有意性検定により、NERにおける1000億語モデルとBW w4s1h0モデルの性能差は統計的に有意でない（95％信頼区間：[-0.008, 0.01]）が、感情分析では有意であった（95％信頼区間：[0.274, 0.504]）。帰無仮説は棄却された。