[论文解读] Noise Contrastive Estimation and Negative Sampling for Conditional Models: Consistency and Statistical Efficiency

Zhuang Ma, Michael Collins|arXiv (Cornell University)|Sep 6, 2018

Natural Language Processing Techniques参考文献 11被引用 11

一句话总结

本文对条件模型中的噪声对比估计（NCE）进行了严格的理论分析，比较了两种变体：基于分类的NCE与基于排序的NCE。研究证明，在分区函数随输入变化的较弱假设下，基于排序的NCE仍具有一致性，而随着负样本数量的增加，两种变体在渐近意义上均能达到费雪效率。

ABSTRACT

Noise Contrastive Estimation (NCE) is a powerful parameter estimation method for log-linear models, which avoids calculation of the partition function or its derivatives at each training step, a computationally demanding step in many cases. It is closely related to negative sampling methods, now widely used in NLP. This paper considers NCE-based estimation of conditional models. Conditional models are frequently encountered in practice; however there has not been a rigorous theoretical analysis of NCE in this setting, and we will argue there are subtle but important questions when generalizing NCE to the conditional case. In particular, we analyze two variants of NCE for conditional models: one based on a classification objective, the other based on a ranking objective. We show that the ranking-based variant of NCE gives consistent parameter estimates under weaker assumptions than the classification-based method; we analyze the statistical efficiency of the ranking-based and classification-based variants of NCE; finally we describe experiments on synthetic data and language modeling showing the effectiveness and trade-offs of both methods.

研究动机与目标

• 为解决噪声对比估计（NCE）在条件模型中缺乏理论理解的问题，而这类模型在自然语言处理（NLP）中具有核心地位。
• 分析两种NCE变体——基于分类的NCE与基于排序的NCE——的一致性与统计效率。
• 阐明在使用NCE进行条件模型参数估计时，实现一致估计所需满足的假设条件。
• 统一并澄清自然语言处理中广泛使用的负采样方法（如Word2Vec和语言建模中的方法）的理论基础。
• 通过合成数据与真实世界实验，评估两种NCE变体之间的权衡。

提出的方法

• 为条件模型提出一种基于排序的NCE目标函数，其中模型学习将真实标签排在从噪声分布中采样的负样本之前。
• 引入一种基于分类的NCE变体，将该任务视为真实标签与负样本之间的二分类问题。
• 通过证明：当分区函数 $ Z(x; heta) $ 可随 $ x $ 变化时，基于排序的NCE可产生一致估计；而基于分类的变体则要求 $ Z(x; heta) $ 在 $ x $ 上保持恒定。
• 推导两种NCE变体的渐近正态性与费雪效率，表明当负样本数量 $ K \to \infty $ 时，两者均能达到与最大似然估计（MLE）相同的渐近均方误差。
• 采用基于Hessian矩阵的近似方法，分析NCE估计量的渐近协方差，将其与费雪信息矩阵关联。
• 运用Weyl不等式与矩阵扰动理论，界定估计的费雪信息矩阵与真实费雪信息矩阵之间的差异，确保收敛性。

实验结果

研究问题

• RQ1 在何种条件下，基于分类的NCE方法对条件模型具有一致性？
• RQ2 当分区函数 $ Z(x; heta) $ 随输入 $ x $ 变化时，基于排序的NCE方法是否仍能保持一致性，而无需要求得分函数吸收 $ \log Z(x; heta) $ 项？
• RQ3 基于排序与基于分类的NCE变体在统计效率上与最大似然估计（MLE）相比如何？
• RQ4 NCE估计量的渐近分布为何？其与费雪信息矩阵有何关联？
• RQ5 在合成数据与语言建模任务中，两种NCE变体在实际应用中的表现如何？

主要发现

• 基于排序的NCE方法在较弱假设下具有一致性，即 $ Z(x; heta) $ 可随 $ x $ 变化；而基于分类的NCE则要求 $ Z(x; heta) $ 在 $ x $ 上恒定，即 $ Z(x; heta) = H(\theta) $。
• 基于分类的NCE仅在得分函数 $ s(x,y;\theta) $ 足够强大以吸收 $ \log Z(x;\theta) $ 项时才具有一致性，这是一个较强的限制条件。
• 当 $ K \to \infty $ 时，基于排序与基于分类的NCE变体均能达到费雪效率，即其渐近均方误差与最大似然估计（MLE）一致。
• NCE估计量的渐近协方差矩阵收敛于费雪信息矩阵的逆矩阵，其差异被控制在 $ O(1/K) $ 范围内，从而确保了估计的一致性。
• 在合成数据与语言建模任务上的实验结果表明，当 $ Z(x;\theta) $ 随 $ x $ 变化时，基于排序的NCE更具鲁棒性与有效性；而在有利条件下，两种方法性能相当。
• 该理论分析为理解自然语言处理中的负采样方法（包括Word2Vec与基于NCE的语言模型）提供了一个统一的框架。