[论文解读] GAIN: Missing Data Imputation using Generative Adversarial Nets

Jinsung Yoon, James Jordon+1 more|arXiv (Cornell University)|Jun 7, 2018

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 525

一句话总结

GAIN 提出了一种生成对抗性缺失值填充网络（Generative Adversarial Imputation Nets）框架，通过对生成器和判别器进行对抗训练并引入提示机制来填充缺失数据，优于最先进的缺失值填充方法。

ABSTRACT

We propose a novel method for imputing missing data by adapting the well-known Generative Adversarial Nets (GAN) framework. Accordingly, we call our method Generative Adversarial Imputation Nets (GAIN). The generator (G) observes some components of a real data vector, imputes the missing components conditioned on what is actually observed, and outputs a completed vector. The discriminator (D) then takes a completed vector and attempts to determine which components were actually observed and which were imputed. To ensure that D forces G to learn the desired distribution, we provide D with some additional information in the form of a hint vector. The hint reveals to D partial information about the missingness of the original sample, which is used by D to focus its attention on the imputation quality of particular components. This hint ensures that G does in fact learn to generate according to the true data distribution. We tested our method on various datasets and found that GAIN significantly outperforms state-of-the-art imputation methods.

研究动机与目标

• 在 MCAR/MAR/MNAR 设置的数据集上推动改进的缺失数据填充。
• 开发一个受 GAN 启发的填充模型，使其能够在非完全观测数据下运行。
• 引入提示机制以确保生成器学习真实的数据分布。
• 实现多重填充以捕捉缺失值的不确定性。

提出的方法

• 通过让生成器在观测数据的条件下填充缺失分量，将 GAN 扩展到填充任务。
• 判别器在完成向量上预测哪些分量是观测到的，哪些是填充的。
• 引入提示向量，为判别器提供关于缺失情况的部分信息。
• 通过极小化极大目标训练，使判别器在识别观测 vs. 填充分量方面的准确性最大化。
• 使用两个损失分量：L_G 用来愚弄判别器关于填充部分的判断，L_M 使观测部分尽量接近实际值。
• 将 G 与 D 建模为全连接神经网络，并使用小批量交替更新判别器和生成器。

实验结果

研究问题

• RQ1 是否在多样化数据集上，GAIN 相对于最先进方法提升了缺失数据填充的质量？
• RQ2 提示机制如何影响对真实数据分布的学习以及填充性能？
• RQ3 GAIN 对不同缺失率、样本大小和特征维度是否具有鲁棒性？
• RQ4 使用 GAIN 填充数据是否会带来更好的下游预测性能？

主要发现

算法	Breast	Spam	Letter	Credit	News
GAIN	.0546 ± .0006	.0513 ± .0016	.1198 ± .0005	.1858 ± .0010	.1441 ± .0007
GAIN w/o L_G	.0701 ± .0021	.0676 ± .0029	.1344 ± .0012	.2436 ± .0012	.1612 ± .0024
L_G only	.?	?	?	?	?
MissForest	.0608 ± .0013	.0553 ± .0013	.1605 ± .0004	.1976 ± .0015	.1623 ± .012
MICE	.0646 ± .0028	.0699 ± .0010	.1537 ± .0006	.2585 ± .0011	.1763 ± .0007
Matrix	.0946 ± .0020	.0542 ± .0006	.1442 ± .0006	.2602 ± .0073	.2282 ± .0005
Auto-encoder	.0697 ± .0018	.0670 ± .0030	.1351 ± .0009	.2388 ± .0005	.1667 ± .0014
EM	.0634 ± .0021	.0712 ± .0012	.1563 ± .0012	.2604 ± .0015	.1912 ± .0011

• GAIN 在多个 UCI 数据集（Breast、Spam、Letter、Credit、News）的 RMSE 上显著超过 MICE、MissForest、矩阵补全、自编码器和 EM。
• 在多组数据集的填充后预测任务中，GAIN 获得更高的 AUROC。
• 在消融分析中，结合 L_G、L_M 和 hint H 相对于缺少这些组件的变体取得了显著提升（平均 RMSE 提升约 15%，并且通过添加提示约提升 10%）。
• 与竞争方法相比，GAIN 对更高缺失率、较大特征空间和较小样本量表现出鲁棒性。
• 一致性分析表明，与其他方法相比，GAIN 在填充后更好地保留了特征-标签关系。