[論文レビュー] Redefining Context Windows for Word Embedding Models: An Experimental Study

Lison, Pierre, Pierre Lison|arXiv (Cornell University)|Jan 1, 2017

Topic Modeling被引用数 14

ひとこと要約

本稿では、連続スキップグラムモデルにおけるコンテキストウィンドウの4つのハイパーパrameter（ウィンドウサイズ、重み付け方式、ウィンドウ位置（左、右、対称）、文間コンテキスト）を体系的に評価している。主な発見として、右コンテキストウィンドウは意味的類似度タスクで対称ウィンドウと同等の性能を示し、特に短文コーパス（例：OpenSubtitles）では文間コンテキストがアナロジータスクの性能を顕著に向上させることを示している。

ABSTRACT

Distributional semantic models learn vector representations of words through the contexts they occur in. Although the choice of context (which often takes the form of a sliding window) has a direct influence on the resulting embeddings, the exact role of this model component is still not fully understood. This paper presents a systematic analysis of context windows based on a set of four distinct hyperparameters. We train continuous Skip- Gram models on two English-language corpora for various combinations of these hyper-parameters, and evaluate them on both lexical similarity and analogy tasks. Notable experimental results are the positive impact of cross-sentential contexts and the surprisingly good performance of right-context windows.

研究の動機と目的

• 分布的意味論モデルにおける異なるコンテキストウィンドウ設定が単語埋め込みの品質に与える影響を調査すること。
• 非対称ウィンドウ（左または右）が、対称ウィンドウと同等に意味的・構文的関係を捉えるかを特定すること。
• 文の境界を越えた文間コンテキストの影響が埋め込み性能に与える影響を評価すること。
• 重み付け方式とストップワード除去が、類似度およびアナロジータスクの両方におけるモデル性能に与える影響を評価すること。
• スキップグラムモデルを用いた単語埋め込みのトレーニングにおけるハイパーパrameter選定の実証的指針を提供すること。

提案手法

• GigawordおよびOpenSubtitlesの2つの英語コーパス上で、ネガティブサンプリングを用いた連続スキップグラム（SGNS）モデルをトレーニングした。
• 4つのハイパーパrameterを変化させた：最大ウィンドウサイズ（1〜10）、重み付け方式（距離による線形減衰と平方根減衰）、ウィンドウ位置（左、右、対称）、文間コンテキストの有無。
• トレーニングと性能への影響を評価するため、Mikolovら（2013b）の手法に従い線形重み付けと平方根減衰重み付けを適用した。
• ストップワード除去をフィルタリング手法として用い、そのモデル効率および性能への影響を評価した。
• SimLex-999を用いて語彙的類似度（スピアマン順位相関）を、標準的なアナロジーベンチマークを用いて性能を評価した。
• すべての設定における平均性能を報告し、強固なトレンドおよび最適設定を特定した。

実験結果

リサーチクエスチョン

• RQ1 コンテキストウィンドウのサイズは、語彙的類似度およびアナロジータスクの性能にどのように影響するか？
• RQ2 右側コンテキストのみを用いる場合、意味的類似度およびアナロジータスクにおいて対称ウィンドウと同等の性能を達成できるか？
• RQ3 文間コンテキストは、特に短文のコーパスにおいて、どれほど単語埋め込みの品質を向上させるか？
• RQ4 線形重み付けと平方根減衰重み付けのどちらが、より優れた性能とトレーニング効率を提供するか？
• RQ5 ストップワード除去は、モデル性能およびトレーニング速度にどのように影響するか？

主な発見

• 右コンテキストウィンドウは、OpenSubtitlesでSimLex-999スピアマン相関0.43、Gigawordで0.44を達成し、対称ウィンドウ（それぞれ0.43および0.45）と同等の性能を示した。
• 文間コンテキストは、OpenSubtitlesでアナロジータスクの性能を0.34から0.43へ0.09向上させ、Gigawordでは0.66から0.65に0.01向上させた。短文コーパスでは特に大きな向上が見られた。
• 線形重み付け方式は、平方根減衰方式よりもトレーニング速度が速く（平方根方式は25%遅延）、性能に一貫した優位性は示さなかった。
• ストップワード除去は、OpenSubtitlesでアナロジータスクの性能を0.34から0.43へ0.09向上させ、Gigawordでは0.64から0.68へ0.04向上させたが、類似度タスクには顕著な影響はなかった。
• 対称ウィンドウは、有効なコンテキストサイズが大きいため、アナロジータスクにおいて一貫して片側ウィンドウを上回ったが、意味的類似度タスクでは右側ウィンドウのみでも対称ウィンドウと同等の性能を達成した。
• OpenSubtitlesではウィンドウサイズ10がアナロジー性能で最良であり、Gigawordではウィンドウサイズ2が最適であった。これはコーパスに依存した最適設定であることを示している。