[論文レビュー] Analysis of Noise Contrastive Estimation from the Perspective of Asymptotic Variance

Masatoshi Uehara, Takeru Matsuda+1 more|arXiv (Cornell University)|Aug 24, 2018

Advanced Statistical Methods and Models参考文献 3被引用数 5

ひとこと要約

本稿では、正規化定数が計算不能な非正規化モデルにおけるノイズ対比推定（NCE）の分散を最小化するフレームワークを提案する。補助分布のパラメータと目的関数を最適化することで、漸近的分散を最小化する最適な目的関数を導出し、理論と実験により、補助分布パラメータにMLE推定量を代入することで分散が低減されることを示している。また、ジェンセン・シャノン距離が最も効率的な推定量をもたらすことを確認した。

ABSTRACT

There are many models, often called unnormalized models, whose normalizing constants are not calculated in closed form. Maximum likelihood estimation is not directly applicable to unnormalized models. Score matching, contrastive divergence method, pseudo-likelihood, Monte Carlo maximum likelihood, and noise contrastive estimation (NCE) are popular methods for estimating parameters of such models. In this paper, we focus on NCE. The estimator derived from NCE is consistent and asymptotically normal because it is an M-estimator. NCE characteristically uses an auxiliary distribution to calculate the normalizing constant in the same spirit of the importance sampling. In addition, there are several candidates as objective functions of NCE. We focus on how to reduce asymptotic variance. First, we propose a method for reducing asymptotic variance by estimating the parameters of the auxiliary distribution. Then, we determine the form of the objective functions, where the asymptotic variance takes the smallest values in the original estimator class and the proposed estimator classes. We further analyze the robustness of the estimator.

研究の動機と目的

• 正規化定数が計算不能な非正規化モデルにおけるノイズ対比推定（NCE）推定量の漸近的分散を低減すること。
• NCEで用いられる補助分布のパラメータを推定する手法を構築し、分散をさらに低減すること。
• 元来のNCEクラスおよび提案された改善クラス内で、漸近的分散を最小化する最適な目的関数の形を同定すること。
• 漸近的分散解析から導かれる影響関数を用いて、NCE推定量の頑健性を分析すること。
• 切断正規分布およびガウスモデルにおける数値実験を通じて、理論的知見を検証すること。

提案手法

• 補助分布パラメータの最尤推定量（MLE）を用いるプラグイン法を提案し、NCEにおける漸近的分散を低減する。
• M推定量理論と影響関数を用いて、一般の目的関数のもとでのNCE推定量の漸近的分散を導出する。
• 凸関数のクラス上で変分問題を解くことにより、漸近的分散を最小化する最適な目的関数の形を同定する。
• 密度パワー距離族とカイ二乗距離を特殊ケースとして用い、頑健性と効率性を分析する。
• 切断正規分布およびガウスモデルにフレームワークを適用し、Rパッケージを用いて補助分布の計算不能な正規化定数を正確に計算する。
• 100回のモンテカルロシミュレーションを用い、異なる目的関数および推定戦略間での平均二乗誤差（MSE）を比較する。

実験結果

リサーチクエスチョン

• RQ1 補助分布パラメータを最適化することで、NCE推定量の漸近的分散をどのように低減できるか？
• RQ2 凸距離関数のクラス内で、漸近的分散を最小化するNCEにおける最適な目的関数の形は何か？
• RQ3 目的関数の選択が、影響関数で測定されるNCE推定量の頑健性にどのように影響するか？
• RQ4 固定された補助分布と比較して、補助分布パラメータにMLE推定量を代入することで、漸近的分散が顕著に低減するか？
• RQ5 Jensen-Shannon、Kullback-Leibler、およびカイ二乗距離のうち、有限標本シミュレーションで最も低い平均二乗誤差（MSE）を達成するのはどの目的関数か？

主な発見

• 補助分布パラメータにMLE推定量を代入することで、NCE推定量の漸近的分散が顕著に低減され、シミュレーションでMSEが低くなることが確認された。
• 漸近的分散を最小化する最適な目的関数は、$ f(x) = x\log x - \left(\frac{m_2}{m_1}x + 1\right)\log\left(1 + \frac{m_1}{m_2}x\right) $ として導出され、これはジェンセン・シャノン距離に対応する。
• 検証された目的関数の中で、ジェンセン・シャノン距離を用いたNCEが最も低い平均二乗誤差（MSE）を達成し、次いでKullback-Leibler距離、カイ二乗距離の順であった。
• カイ二乗距離目的関数は、影響関数が有界であるため頑健性を示しており、MLE（非頑健）とは異なり、B-頑健性に関する理論的知見を支持する。
• 定理4.1で導出された最適な目的関数は、元来のNCEクラスおよび提案された改善クラスの両方で最小の漸近的分散をもたらす。
• 未知の精度行列を有する3次元切断正規モデルにおける数値実験により、提案手法（POJS）が、標準NCE（OJS）よりも、全標本サイズ（1000〜8000）においてMSEの観点で優れていることが確認された。