[论文解读] Bounding the Test Log-Likelihood of Generative Models

Yoshua Bengio, Li Yao+1 more|arXiv (Cornell University)|Jan 1, 2014

Algorithms and Data Compression被引用 5

一句话总结

该论文提出了一种更高效、下界估计器，用于具有不可计算归一化常数或无解析未归一化密度的生成模型的测试对数似然估计。该方法在无限样本极限下提供了一致且无偏的估计，并提出了一个适用于有限样本可靠模型比较的有偏变体，优于以往的非参数密度估计方法。

ABSTRACT

Abstract: Several interesting generative learning algorithms involve a complex probability distribution over many random variables, involving intractable normalization constants or latent variable normalization. Some of them may even not have an analytic expression for the unnormalized probability function and no tractable approximation. This makes it difficult to estimate the quality of these models, once they have been trained, or to monitor their quality (e.g. for early stopping) while training. A previously proposed method is based on constructing a non-parametric density estimator of the model's probability function from samples generated by the model. We revisit this idea, propose a more efficient estimator, and prove that it provides a lower bound on the true test log-likelihood, and an unbiased estimator as the number of generated samples goes to infinity, although one that incorporates the effect of poor mixing. We further propose a biased variant of the estimator that can be used reliably with a finite number of samples for the purpose of model comparison.

研究动机与目标

• 解决具有不可计算归一化常数或无解析未归一化密度函数的生成模型评估挑战。
• 改进现有针对此类模型对数似然估计的非参数密度估计方法。
• 提供一个在样本量增加时保持一致且无偏的真实测试对数似然下界。
• 为有限样本下的可靠模型比较，开发一种实用的有偏估计器变体。

提出的方法

• 重新审视使用训练模型生成的样本进行非参数密度估计，以估计模型的概率密度。
• 提出一种更高效的估计器，保持一致性，并为真实测试对数似然提供下界。
• 证明该估计器在生成样本数量趋于无穷时为无偏估计，即使混合效果较差亦成立。
• 引入一个有偏变体，使其在有限样本规模下依然可靠，从而支持实际的模型比较。
• 使用核密度估计或类似的非参数技术，从生成样本构建密度估计器。

实验结果

研究问题

• RQ1 能否构建一种更高效的非参数估计器，以界定具有不可计算归一化常数的生成模型的测试对数似然？
• RQ2 所提出的估计器是否能为真实测试对数似然提供有效的下界？
• RQ3 当生成样本数量趋近无穷时，该估计器是否为无偏？
• RQ4 能否设计一种有偏估计器变体，以实现有限样本下的可靠模型比较？

主要发现

• 所提出的估计器为真实测试对数似然提供了下界，确保了对模型质量的保守评估。
• 在生成样本数量趋于无穷时，该估计器即使在模型混合效果差的情况下仍保持无偏。
• 该估计器的有偏变体在有限样本模型比较中表现可靠，支持其在训练中的实际应用。
• 该方法在效率上优于以往用于对数似然评估的非参数密度估计方法。