[论文解读] MIDA: Multiple Imputation using Denoising Autoencoders

Lovedeep Gondara, Ke Wang|arXiv (Cornell University)|May 8, 2017

Domain Adaptation and Few-Shot Learning参考文献 20被引用 10

一句话总结

本文提出 MIDA，一种基于过完备去噪自编码器的多重插补框架，可处理多种数据类型、缺失模式及缺失比例下的缺失数据问题。通过在含缺失值的噪声输入上进行训练，并利用随机权重初始化生成多重插补结果，MIDA 在插补准确率和末端分析性能方面均优于当前最先进方法（如 MICE），尤其在 MNAR 机制和低数据规模场景下表现更优。

ABSTRACT

Missing data is a significant problem impacting all domains. State-of-the-art framework for minimizing missing data bias is multiple imputation, for which the choice of an imputation model remains nontrivial. We propose a multiple imputation model based on overcomplete deep denoising autoencoders. Our proposed model is capable of handling different data types, missingness patterns, missingness proportions and distributions. Evaluation on several real life datasets show our proposed model significantly outperforms current state-of-the-art methods under varying conditions while simultaneously improving end of the line analytics.

研究动机与目标

• 为解决多重插补中因数据类型、分布及缺失模式约束而导致的合适插补模型选择难题。
• 开发一种基于深度学习的插补方法，以保留变量间依赖关系，并处理混合数据类型及复杂非线性关系。
• 实现在无需完整训练数据情况下的有效插补，克服现实应用中常见限制。
• 通过生成保持结构完整性和预测能力的插补数据集，提升下游分析性能。
• 评估在各种缺失机制下的鲁棒性，尤其是对现有方法构成挑战的 MNAR 机制。

提出的方法

• MIDA 采用过完备去噪自编码器（DAE）作为核心插补模型，将含缺失值的数据视为噪声输入。
• DAE 经过训练，可从受损输入中重建原始数据，其中缺失值被模拟为噪声，使模型能够学习捕捉变量间依赖关系的潜在表示。
• 通过不同随机权重初始化并重新训练 DAE，生成多重插补结果，以反映插补过程中的不确定性。
• 模型采用端到端反向传播训练，基于观测值的均方误差损失函数，通过适当的预处理和输出层设计，可处理混合数据类型。
• 通过将不完整数据输入训练好的 DAE，模型可重建完整数据向量，包括插补的缺失值。
• 该方法无需完整数据集进行训练，适用于完整观测值有限的真实世界场景。

实验结果

研究问题

• RQ1 基于深度学习的插补模型是否能在多种数据类型和缺失模式下超越传统方法（如 MICE）？
• RQ2 所提出的 MIDA 框架在缺失不完全随机（MNAR）机制下的表现如何？此类机制常使现有插补模型面临挑战。
• RQ3 MIDA 在在多大程度上保留了数据中的变量间相关性与结构关系，从而提升下游分析性能？
• RQ4 在小样本规模下，MIDA 是否仍能实现高插补准确率？这对深度学习模型而言是已知挑战。
• RQ5 与单重插补或其他多重插补方法相比，使用 MIDA 进行多重插补是否能带来更好的末端分析预测性能？

主要发现

• MIDA 在插补准确率上显著优于 MICE，85% 的测试数据集中均方误差比（ER）值低于 1，表明性能更优。
• 在 40% 和 60% 缺失比例下，模型性能保持一致，展现出在高缺失率下的鲁棒性。
• 在 MNAR 均匀缺失场景下，MIDA 在下游随机森林模型中实现了更高的分类准确率和更低的 RMSE，MNAR 均匀数据集上平均准确率提升达 9.4%。
• 在末端分析中，MIDA 在 15 个数据集中的 12 个上提升了预测性能，尤其在 MNAR 均匀机制下提升最为显著。
• MIDA 顺利插补了 MICE 完全失败的数据集 VW，证明其在高缺失率和复杂模式下的可靠性。
• 模型有效保留了数据结构，表现为更高的相关性保真度和更优的下游模型性能，即使在无完整训练数据的情况下训练亦成立。