[论文解读] Analysis of Noise Contrastive Estimation from the Perspective of Asymptotic Variance

Masatoshi Uehara, Takeru Matsuda+1 more|arXiv (Cornell University)|Aug 24, 2018

Advanced Statistical Methods and Models参考文献 3被引用 5

一句话总结

本文通过优化辅助分布参数和目标函数，提出了一种用于未归一化模型中噪声对比估计（NCE）的方差最小化框架。推导出可最小化渐近方差的最优目标函数，并通过理论分析与实验验证表明，将辅助分布参数的极大似然估计（MLE）代入可有效降低方差，其中Jensen-Shannon散度对应的估计器效率最高。

ABSTRACT

There are many models, often called unnormalized models, whose normalizing constants are not calculated in closed form. Maximum likelihood estimation is not directly applicable to unnormalized models. Score matching, contrastive divergence method, pseudo-likelihood, Monte Carlo maximum likelihood, and noise contrastive estimation (NCE) are popular methods for estimating parameters of such models. In this paper, we focus on NCE. The estimator derived from NCE is consistent and asymptotically normal because it is an M-estimator. NCE characteristically uses an auxiliary distribution to calculate the normalizing constant in the same spirit of the importance sampling. In addition, there are several candidates as objective functions of NCE. We focus on how to reduce asymptotic variance. First, we propose a method for reducing asymptotic variance by estimating the parameters of the auxiliary distribution. Then, we determine the form of the objective functions, where the asymptotic variance takes the smallest values in the original estimator class and the proposed estimator classes. We further analyze the robustness of the estimator.

研究动机与目标

• 降低未归一化模型中NCE估计器的渐近方差，其中归一化常数不可计算。
• 提出一种用于估计NCE中所用辅助分布参数的方法，以进一步降低方差。
• 识别在原始NCE类别及所提出的改进类别中，能最小化渐近方差的最优目标函数形式。
• 基于渐近方差分析推导的影响函数，分析NCE估计器的鲁棒性。
• 通过在截断正态分布和高斯模型上的数值实验，验证理论结果。

提出的方法

• 提出一种插值方法，即使用辅助分布参数的极大似然估计（MLE）来降低NCE中的渐近方差。
• 基于M-估计理论与影响函数，推导一般目标函数下NCE估计器的渐近方差。
• 通过在凸函数类上求解变分问题，识别出能最小化渐近方差的最优目标函数形式。
• 将密度幂散度族与卡方散度作为特例，分析其鲁棒性与效率。
• 将该框架应用于截断正态与高斯模型，利用R包精确计算辅助分布中不可计算的归一化常数。
• 采用100次重复的蒙特卡洛模拟，比较不同目标函数与估计策略下的均方误差（MSE）。

实验结果

研究问题

• RQ1 如何通过优化辅助分布参数来降低NCE估计器的渐近方差？
• RQ2 在凸散度函数类中，NCE的最优目标函数形式为何，可使渐近方差最小化？
• RQ3 目标函数的选择如何通过影响函数影响NCE估计器的鲁棒性？
• RQ4 与固定辅助分布相比，代入辅助分布参数的MLE估计是否能显著降低渐近方差？
• RQ5 在有限样本模拟中，Jensen-Shannon、Kullback-Leibler或卡方散度目标函数中，哪一种实现最低的均方误差？

主要发现

• 将辅助分布参数的MLE估计代入后，NCE估计器的渐近方差显著降低，模拟结果中MSE更低，验证了该方法的有效性。
• 推导出的最优目标函数形式为 $ f(x) = x\log x - \left(\frac{m_2}{m_1}x + 1\right)\log\left(1 + \frac{m_1}{m_2}x\right) $，对应Jensen-Shannon散度。
• 在所测试的目标函数中，采用Jensen-Shannon散度的NCE实现最低的均方误差（MSE），其次为Kullback-Leibler散度，最后为卡方散度。
• 卡方散度目标函数表现出鲁棒性，因其影响函数有界，而MLE则无界（非鲁棒），与B-鲁棒性的理论分析一致。
• 定理4.1中推导出的最优目标函数在原始NCE类与所提出的改进类中均实现最小的渐近方差。
• 在三维截断正态模型（精度矩阵未知）上的数值实验表明，所提方法（POJS）在所有样本量（1000至8000）下均优于标准NCE（OJS），MSE更低。