[論文レビュー] Noise Contrastive Estimation and Negative Sampling for Conditional Models: Consistency and Statistical Efficiency

Zhuang Ma, Michael Collins|arXiv (Cornell University)|Sep 6, 2018

Natural Language Processing Techniques参考文献 11被引用数 11

ひとこと要約

この論文は、自然言語処理における中心的な役割を果たす条件付きモデルにおけるノイズ対比推定（NCE）の厳密な理論的分析を提供している。2つの変種、分類ベースとランク付けベースのNCEを比較し、特に入力に応じて分割関数が変化する場合に、ランク付けベースのNCEがより弱い仮定のもとで一貫性を示すことを証明している。一方、両変種とも負のサンプル数が増加するにつれて漸近的にフィッシャー効率性を達成する。

ABSTRACT

Noise Contrastive Estimation (NCE) is a powerful parameter estimation method for log-linear models, which avoids calculation of the partition function or its derivatives at each training step, a computationally demanding step in many cases. It is closely related to negative sampling methods, now widely used in NLP. This paper considers NCE-based estimation of conditional models. Conditional models are frequently encountered in practice; however there has not been a rigorous theoretical analysis of NCE in this setting, and we will argue there are subtle but important questions when generalizing NCE to the conditional case. In particular, we analyze two variants of NCE for conditional models: one based on a classification objective, the other based on a ranking objective. We show that the ranking-based variant of NCE gives consistent parameter estimates under weaker assumptions than the classification-based method; we analyze the statistical efficiency of the ranking-based and classification-based variants of NCE; finally we describe experiments on synthetic data and language modeling showing the effectiveness and trade-offs of both methods.

研究の動機と目的

• 自然言語処理における中心的役割を果たす条件付きモデルにおけるノイズ対比推定（NCE）の理論的理解の不足に取り組むこと。
• 分類ベースとランク付けベースのNCEという2つのNCE変種の一致性と統計的効率性を分析すること。
• 条件付きモデルにおいてNCEを用いた一貫性のあるパラメータ推定に必要な仮定を明確にすること。
• Word2Vec や言語モデルにおけるような、NLPで広く使われているネガティブサンプリング手法の理論的基盤を統合・明確化すること。
• 合成データおよび実世界の実験を通じて、2つのNCE変種のトレードオフを評価すること。

提案手法

• モデルが真のラベルをノイズ分布から抽出された負のサンプルよりも高い順位にランク付けできるように学習する、条件付きモデル向けのランク付けベースのNCE目的関数を提案する。
• 真のラベルと負のラベルの間の二値分類として扱う分類ベースのNCE変種を導入する。
• 一貫性の分析において、分割関数 $ Z(x; heta) $ が $ x $ に応じて変化できるという弱い仮定のもとで、ランク付けベースのNCEが一貫性のある推定をもたらすことを証明する。一方、分類ベースの変種では $ Z(x; heta) $ が $ x $ に依存しない、すなわち $ Z(x; heta) = H(\theta) $ である必要がある。
• 両NCE変種の漸近的正規性とフィッシャー効率性を導出し、負のサンプル数 $ K \to \infty $ のとき、両者が最尤推定（MLE）と同一の漸近的平均二乗誤差を達成することを示す。
• ヘッセ行列に基づく近似を用いて、NCE推定量の漸近的分散共分散行列を分析し、それがフィッシャー情報行列と関連することを示す。
• ワイエルの不等式と行列摂動理論を用いて、推定されたフィッシャー情報行列と真の行列との差をバウンドし、収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 分類ベースのNCE手法は、条件付きモデルにおいてどのような条件下で一貫性を示すか？
• RQ2 分割関数 $ Z(x; heta) $ が入力 $ x $ に応じて変化する場合、スコア関数が $ \log Z(x; heta) $ を吸収する必要がないまま、ランク付けベースのNCE手法は一貫性を達成できるか？
• RQ3 ランク付けベースと分類ベースのNCE変種の統計的効率性は、最尤推定（MLE）と比べてどのように異なるか？
• RQ4 NCE推定量の漸近的分布は何か？ そして、それはフィッシャー情報行列とどのように関係するか？
• RQ5 2つのNCE変種は、合成データおよび言語モデルタスクにおいて実際のデータでどのように性能を発揮するか？

主な発見

• ランク付けベースのNCE手法は、$ Z(x; heta) $ が $ x $ に応じて変化できるというより弱い仮定のもとで一貫性を示すが、分類ベースのNCEでは $ Z(x; heta) $ が $ x $ に依存しない、すなわち $ Z(x; heta) = H(\theta) $ でなければならない。
• 分類ベースのNCEは、スコア関数 $ s(x,y;\theta) $ が $ \log Z(x;\theta) $ を十分に吸収できるだけの表現力を持つ必要があるが、これは強い要件である。
• ランク付けベースおよび分類ベースの両NCE変種は、$ K \to \infty $ のときフィッシャー効率性を達成し、漸近的平均二乗誤差が最尤推定（MLE）と同一になる。
• NCE推定量の漸近的共分散行列は、フィッシャー情報行列の逆行列に収束し、その差は $ O(1/K) $ でバウンドされるため、一貫性のある推定が保証される。
• 合成データおよび言語モデルタスクにおける実験により、$ Z(x;\theta) $ が $ x $ に応じて変化する状況では、ランク付けベースのNCEがより頑健で効果的であることが確認された。一方、有利な条件下では両手法の性能は同等であった。
• 理論的分析により、Word2Vec やNCEベースの言語モデルを含むNLPにおけるネガティブサンプリング手法の統一的フレームワークが提供された。