[论文解读] Implicit Maximum Likelihood Estimation

Ke Li, Jitendra Malik|arXiv (Cornell University)|Sep 24, 2018

Gaussian Processes and Bayesian Inference参考文献 49被引用 62

一句话总结

本文提出 IMLE，即用于隐式模型的无似然参数估计方法，在某些条件下等价于最大似然，并在 MNIST、TFD 与 CIFAR-10 上展示了其有效性。

ABSTRACT

Implicit probabilistic models are models defined naturally in terms of a sampling procedure and often induces a likelihood function that cannot be expressed explicitly. We develop a simple method for estimating parameters in implicit models that does not require knowledge of the form of the likelihood function or any derived quantities, but can be shown to be equivalent to maximizing likelihood under some conditions. Our result holds in the non-asymptotic parametric setting, where both the capacity of the model and the number of data examples are finite. We also demonstrate encouraging experimental results.

研究动机与目标

• 在隐式概率模型中，当似然不可计算时，参数估计的需求成为推动力。
• 提出一种简单的无似然估计量（IMLE），在有限容量和有限样本假设下等价于最大似然。
• 证明 IMLE 可以避免常见的类似 GAN 的病态，如模式塌陷和训练不稳定。
• 在标准数据集（MNIST、Toronto Faces Dataset、CIFAR-10）上通过定性和定量评估对 IMLE 进行经验演示。

提出的方法

• 通过 R_i^θ = min_j ||x_i - x~_j^θ||^2 来定义 IMLE：最小化每个数据样本到其最近模型样本的期望距离；IMLE 目标是 min_θ E_{R_1^θ,...,R_n^θ}[sum_i R_i^θ]。
• 在每次外迭代中从 P_θ 生成 m≥n 个独立同分布样本，并将每个数据点与最近的样本配对；通过对基于样本的 IMLE 目标的 SGD 来更新 θ。
• 为了效率使用最近邻搜索，并指出距离基目标可以使用欧几里得距离或距离有意义的嵌入。
• 给出在论文中 Theorem 1 条件下 IMLE 与 ML 等价的理由（文中给出条件概要）。
• 讨论扩展到其他距离度量和非欧氏嵌入，并重点关注通过快速最近邻方法实现可扩展性。

实验结果

研究问题

• RQ1 在有限数据和模型容量下，无似然估计量是否可能等价于最大似然？
• RQ2 与如 GAN 等无似然替代方法相比，IMLE 是否能防止模式塌陷并改善稳定性？
• RQ3 在标准图像数据集上，IMLE 在样本质量与多样性方面的表现如何？
• RQ4 在高维数据上扩展 IMLE 时有哪些实际注意事项（最近邻搜索、距离度量）？

主要发现

方法	MNIST	TFD
DBN (Bengio et al., 2013)	138±2	1909±66
SCAE (Bengio et al., 2013)	121±1.6	2110±50
DGSN (Bengio et al., 2014)	214±1.1	1890±29
GAN (Goodfellow et al., 2014)	225±2	2057±26
GMMN (Li et al., 2015)	147±2	2085±25
IMLE (Proposed)	257±6	2139±27

• IMLE 在 MNIST、 Toronto Faces Dataset 和 CIFAR-10 上实现了有竞争力的样本质量和合理的对数似然估计。
• IMLE 减少模式塌陷，提供稳定训练，避免通常的 GAN 病态，同时保持完整的回忆。
• Table 1 显示测试数据的对数似然（高斯 Parzen 窗）在 IMLE 与基线之间，在 MNIST 和 TFD 上，IMLE 获得高分。
• IMLE 证明高质量样本并不一定意味着密度估计差，只要具有完整回忆。
• 可视化显示学习到的流形具有平滑插值，训练过程中样本清晰度提升。
• IMLE 的最近邻匹配确保每个数据样本都有一个附近的样本，支持全面的模式覆盖。