[论文解读] MIWAE: Deep Generative Modelling and Imputation of Incomplete Data

Pierre‐Alexandre Mattei, Jes Frellsen|arXiv (Cornell University)|Dec 6, 2018

Image Processing and 3D Reconstruction被引用 6

一句话总结

MIWAE 通过将重要性加权自编码器（IWAE）扩展至处理缺失随机（MAR）数据，在无计算开销的前提下，提出了一种针对不完整数据的深度生成建模方法。该方法在 UCI 数据集上实现了最先进的单重插补性能，并在 MNIST 数据集上实现 50% 像素缺失时，其多重插补性能可与完整数据训练的模型相媲美。

ABSTRACT

We consider the problem of handling missing data with deep latent variable models (DLVMs). First, we present a simple technique to train DLVMs when the training set contains missing-at-random data. Our approach, called MIWAE, is based on the importance-weighted autoencoder (IWAE), and maximises a potentially tight lower bound of the log-likelihood of the observed data. Compared to the original IWAE, our algorithm does not induce any additional computational overhead due to the missing data. We also develop Monte Carlo techniques for single and multiple imputation using a DLVM trained on an incomplete data set. We illustrate our approach by training a convolutional DLVM on a static binarisation of MNIST that contains 50% of missing pixels. Leveraging multiple imputation, a convolutional network trained on these incomplete digits has a test performance similar to one trained on complete data. On various continuous and binary data sets, we also show that MIWAE provides accurate single imputations, and is highly competitive with state-of-the-art methods.

研究动机与目标

• 开发一种可扩展且统计上可靠的深度潜在变量模型（DLVM）训练方法，用于处理缺失随机（MAR）机制下的不完整数据集。
• 在处理缺失数据的同时保持变分推断的计算效率，支持在线学习与可扩展性。
• 利用训练好的 DLVM 提供可靠的单重与多重插补技术，并量化插补值的不确定性。
• 通过在 MAR 假设下最大化观测数据对数似然的紧致下界，将 IWAE 框架扩展以处理缺失数据。
• 证明 MIWAE 在多种数据类型上的插补精度与现有最先进方法相比具有竞争力或更优表现。

提出的方法

• 通过在训练期间对缺失值使用零值插补，将重要性加权自编码器（IWAE）目标适应于不完整数据。
• 在 MAR 假设下，使用 K 个重要性权重最大化观测数据对数似然的下界，以收紧该下界。
• 使用 L 个重要性权重的蒙特卡洛采样，估计单重与多重插补的条件期望。
• 采用卷积 DLVM 架构，编码器与解码器使用多层感知机，变分族与观测族采用学生 t 分布的乘积形式。
• 通过避免缺失数据带来的额外计算开销，保持标准变分推断的可扩展性，从而维持计算效率。
• 在所有数据集上使用相同的模型架构，并采用固定的潜在维度（d=10），实现冗余维度的自动剪枝。

实验结果

研究问题

• RQ1 是否可以将 IWAE 框架扩展以在不引入计算开销的前提下处理深度生成模型中的缺失数据？
• RQ2 MIWAE 在不完整数据上是否能产生比现有方法更紧的似然下界与更精确的插补结果？
• RQ3 基于 MIWAE 的多重插补能否实现与在完整数据上训练的模型相当的测试性能？
• RQ4 MIWAE 与 missForest、k-NN 和 PCA 等最先进插补方法相比，在连续与二值 UCI 数据集上的表现如何？
• RQ5 增加重要性权重数量（K）在多大程度上能提升 MIWAE 的插补精度？

主要发现

• 在连续 UCI 数据集上，MIWAE 实现了最先进的单重插补性能，其在 Banknote 数据集上的均方误差（MSE）为 0.446，优于 MVAE（0.593）、missForest（0.676）和 k-NN（0.744）。
• 在 MNIST 数据集上，当像素缺失率达 50% 时，使用 MIWAE 训练的卷积 DLVM 与多重插补方法，其测试性能可与在完整数据上训练的模型相媲美。
• 将重要性权重数量从 K=1（即 MVAE）增加到 K=20 显著提升了插补精度，证明了更紧的似然下界带来的优势。
• 在所有测试的 UCI 数据集中，MIWAE 均优于 PCA（Banknote 上 MSE 为 0.682）、均值插补（MSE 为 1.02）和 k-NN（MSE 为 0.744）。
• 该方法保持了计算效率与可扩展性，支持在不完整数据上进行在线学习，且无额外计算开销。
• MIWAE 与最先进方法相比极具竞争力，尤其在处理高维与复杂分布的缺失数据时表现出色。