[论文解读] Leveraging the Exact Likelihood of Deep Latent Variable Models

Pierre‐Alexandre Mattei, Jes Frellsen|IT University Of Copenhagen (IT University of Copenhagen)|Feb 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 41被引用 10

一句话总结

本文研究了深度隐变量模型（DLVMs）的精确似然，表明对于连续数据，未受约束的DLVMs的似然函数通常无界，导致模式崩溃。本文提出一种基于精确条件似然的缺失数据填补方法，其在多个数据集上的表现显著优于标准变分填补方法。

ABSTRACT

Deep latent variable models (DLVMs) combine the approximation abilities of deep neural networks and the statistical foundations of generative models. Variational methods are commonly used for inference; however, the exact likelihood of these models has been largely overlooked. The purpose of this work is to study the general properties of this quantity and to show how they can be leveraged in practice. We focus on important inferential problems that rely on the likelihood: estimation and missing data imputation. First, we investigate maximum likelihood estimation for DLVMs: in particular, we show that most unconstrained models used for continuous data have an unbounded likelihood function. This problematic behaviour is demonstrated to be a source of mode collapse. We also show how to ensure the existence of maximum likelihood estimates, and draw useful connections with nonparametric mixture models. Finally, we describe an algorithm for missing data imputation using the exact conditional likelihood of a deep latent variable model. On several data sets, our algorithm consistently and significantly outperforms the usual imputation scheme used for DLVMs.

研究动机与目标

• 研究深度隐变量模型（DLVMs）中精确似然的统计特性，尽管其具有理论重要性，但常被忽视。
• 解决未受约束的DLVMs在连续数据上似然无界的问题，该问题在训练过程中导致模式崩溃。
• 建立DLVMs最大似然估计存在的条件，并将其与非参数混合模型联系起来。
• 提出一种基于DLVM精确条件似然的新型缺失数据填补算法，优于标准变分填补方案。

提出的方法

• 对DLVM中似然函数的理论分析表明，对于大多数未受约束的连续数据模型，似然函数无界，导致最大似然估计不稳定。
• 通过利用深度神经网络的通用逼近性质，论文构建了一个证明，表明任何有限混合模型均可由具有有界似然的DLVM近似，从而与非参数混合模型建立联系。
• 提出一种新型填补算法，通过马尔可夫链蒙特卡洛方法中的吉布斯采样器，计算给定隐变量下观测数据的精确条件似然，以从缺失值的后验分布中采样。
• 该方法利用完整的生成模型结构，计算缺失条目的准确后验预测分布，避免了变分近似引入的偏差。
• 在MNIST、Omniglot和Caltech Silhouettes数据集上，评估了不同缺失数据率（40%–80%）下的F1分数。
• 通过Wilcoxon符号秩检验，对所提方法与标准伪吉布斯填补方案进行统计显著性评估。

实验结果

研究问题

• RQ1 为何未受约束的深度隐变量模型在连续数据上的似然函数无界？其对模型训练有何后果？
• RQ2 在何种条件下，深度隐变量模型的最大似然估计可以存在？其与非参数混合模型有何关联？
• RQ3 能否有效利用DLVM的精确条件似然进行缺失数据填补？与标准变分填补方法相比表现如何？
• RQ4 在不同缺失数据率下，使用精确条件似然进行填补的实证性能提升如何？
• RQ5 通过假设检验确认，所提填补方法是否在统计上显著优于现有方案？

主要发现

• 未受约束的DLVMs在连续数据上的似然函数无界，这导致最大似然估计过程中出现模式崩溃。
• 通过约束模型结构或先验分布，可确保最大似然估计的存在，此类模型在统计上等价于非参数混合模型。
• 所提基于精确条件似然的填补方法在所有测试数据集和缺失数据率下，均一致优于标准变分填补方法。
• 在MNIST、Omniglot和Caltech Silhouettes数据集中，所提方法在Wilcoxon符号秩检验中p值均小于10−15，表明相对于基线方法具有统计显著性提升。
• 即使在高缺失数据率（高达80%）下，该方法仍保持高性能，且在所有设置中均维持显著优势。
• 在填补过程中使用的吉布斯采样器（Metropolis-within-Gibbs）相比伪吉布斯方案显著更准确，尤其在高缺失率下优势明显。