[論文レビュー] Improving Negative Sampling for Word Representation using Self-embedded Features

Long Chen, Fajie Yuan+2 more|arXiv (Cornell University)|Oct 26, 2017

Topic Modeling被引用数 3

ひとこと要約

本稿では、従来の頻度ベースのサンプリングを改善するため、多次元の自己埋め込み特徴を用いて情報量の多い負例を動的に選択する、適応的ネガティブサンプリング手法を提案する。埋め込みベクトルと現在のSGDパラメータ状態の両方を活用することで、勾配消失を軽減し、収束を加速し、計算複雑性を増加させることなくベースラインword2vecを著しく上回る性能を達成する。

ABSTRACT

Although the word-popularity based negative sampler has shown superb performance in the skip-gram model, the theoretical motivation behind oversampling popular (non-observed) words as negative samples is still not well understood. In this paper, we start from an investigation of the gradient vanishing issue in the skipgram model without a proper negative sampler. By performing an insightful analysis from the stochastic gradient descent (SGD) learning perspective, we demonstrate that, both theoretically and intuitively, negative samples with larger inner product scores are more informative than those with lower scores for the SGD learner in terms of both convergence rate and accuracy. Understanding this, we propose an alternative sampling algorithm that dynamically selects informative negative samples during each SGD update. More importantly, the proposed sampler accounts for multi-dimensional self-embedded features during the sampling process, which essentially makes it more effective than the original popularity-based (one-dimensional) sampler. Empirical experiments further verify our observations, and show that our fine-grained samplers gain significant improvement over the existing ones without increasing computational complexity.

研究の動機と目的

• 頻度ベースのネガティブサンプリングの限界に対処すること。これは、頻出だがしばしば無関係な語を過剰にサンプリングし、動的パラメータ状態を無視するためである。
• 悪いサンプリング戦略の下でスキップグラムモデルに現れる勾配消失の理論的・実験的要因を調査すること。
• 頻度ではなく、多次元の意味的・構文的特徴に基づいて、情報量の多いネガティブサンプルを選択するサンプリング手法を開発すること。
• 提案手法が一定のアモアタイズド実行時間（amortized runtime）を維持することを保証し、効率性を保ちながらモデルの精度を向上させること。

提案手法

• 提案された適応的サンプラーは、ターゲット語の埋め込みと文脈語の埋め込みの内積スコアに基づいてネガティブサンプルを選択し、より高いスコア（より関連性の高い）候補を優先する。
• 各SGDステップにおいて、モデルパラメータの現在の状態を組み込み、動的にサンプリング分布を更新することで、情報量の多いネガティブ例を優先する。
• この手法は、意味的および構文的特徴を含む多次元埋め込み特徴をサンプリングプロセスに統合し、一次元の頻度スコアにとどまらない。
• アルゴリズムは、1回の更新あたりアモアタイズドO(d)の実行時間を維持する。ここでdは埋め込み次元である。これは1回の内積演算のコストと一致する。
• サンプラーは、スキップグラムおよびCBOWアーキテクチャの両方に対応し、元の均一または頻度ベースのネガティブサンプリングに置き換える。
• SGD最適化の観点からの理論的分析により、内積スコアが高いほどより情報量の多い勾配が得られ、収束性と精度が向上することを正当化する。

実験結果

リサーチクエスチョン

• RQ1 なぜ頻度ベースのネガティブサンプリングは、無関係な語を過剰にサンプリングするにもかかわらず、良好な性能を示すのか？
• RQ2 悪いネガティブサンプリング戦略を使用した場合、word2vecで勾配消失問題はどのように現れるのか？
• RQ3 埋め込み類似度（内積スコア）に基づくサンプリングが、頻度ベースのサンプリングよりも収束性および精度で優れているかどうか？
• RQ4 多次元の意味的特徴をネガティブサンプリングに組み込むことで、計算コストを増加させることなく、語表現の質が向上するのか？

主な発見

• 適応的サンプラーは、語の類推および語の類似度タスクにおいて、元のword2vecベースラインを著しく上回り、SGAはSGおよびSGUよりも高い精度を達成した。
• NewsIRデータセットでは、k > 15のネガティブサンプルに対して収束を示し、均一サンプリングと比較して過学習が軽減されたことを示した。
• CBOWAおよびSGAモデルは、それぞれの対応するモデル（CBOWおよびSG）を一貫して上回り、アーキテクチャを問わず適応的サンプリングの有効性を確認した。
• 適応的サンプラーの学習時間はわずかに増加した。例えば、NewsIRでd=300の場合、37.4分から388.9分に増加したが、これはアモアタイズドO(d)の実行時間であり、顕著な計算オーバーヘッドがないことを確認した。
• 高いスコアで意味的に関連性の高いネガティブ例を優先することで、勾配消失が効果的に軽減され、より効果的なパラメータ更新が実現した。