[论文解读] Numerical Data Imputation for Multimodal Data Sets: A Probabilistic Nearest-Neighbor Kernel Density Approach

Floria Lalande, Kenji Doya|arXiv (Cornell University)|Jun 29, 2023

Anomaly Detection Techniques and ApplicationsComputer Science被引用 3

一句话总结

本文提出 $k$NN×KDE，一种新颖的数据填补方法，结合 k-最近邻（k-NN）与核密度估计（KDE），以处理多模态和复杂的数据分布。在 MCAR、MAR 和 MNAR 缺失机制下，该方法在多种真实和合成数据集上均实现了更低的填补误差和更高的似然度，优于当前最先进方法。

ABSTRACT

Numerical data imputation algorithms replace missing values by estimates to leverage incomplete data sets. Current imputation methods seek to minimize the error between the unobserved ground truth and the imputed values. But this strategy can create artifacts leading to poor imputation in the presence of multimodal or complex distributions. To tackle this problem, we introduce the $k$NN$ imes$KDE algorithm: a data imputation method combining nearest neighbor estimation ($k$NN) and density estimation with Gaussian kernels (KDE). We compare our method with previous data imputation methods using artificial and real-world data with different data missing scenarios and various data missing rates, and show that our method can cope with complex original data structure, yields lower data imputation errors, and provides probabilistic estimates with higher likelihood than current methods. We release the code in open-source for the community: https://github.com/DeltaFloflo/knnxkde

研究动机与目标

• 解决传统填补方法在处理多模态和复杂数据分布时的局限性。
• 通过密度估计建模不确定性，保留数据的潜在结构。
• 通过引入概率似然作为评估指标，超越仅最小化均方误差的填补精度提升。
• 提供一种实用、可扩展且开源的解决方案，用于现实世界不完整数据集中的数值数据填补。
• 在多种缺失数据机制（MCAR、MAR、MNAR）和数据类型（包括表格数据和高维数据）上评估性能。

提出的方法

• 该方法使用 k-NN 识别与目标样本（含缺失值）最相似的 k 个实例。
• 对于每个缺失特征，基于 k-NN 邻居使用高斯核密度估计（KDE）估计条件密度。
• 从估计的条件密度中随机抽取填补值，实现概率性填补而非点估计。
• 通过利用局部邻域结构和核平滑，联合建模观测特征与缺失特征。
• 利用估计密度计算似然分数，以超越 NRMSE 的方式评估填补质量。
• 该方法以开源代码实现，并在 14 个不同数据集上进行了评估，涵盖不同的缺失率和缺失机制。

Figure 1: Three basic synthetic data sets with $N=500$ observations. 2d_linear is a bijection, 2d_sine is a surjection, and 2d_ring displays a ring and is therefore not a function in the euclidean space.

实验结果

研究问题

• RQ1 混合 k-NN 与 KDE 的方法是否能在多模态数据分布上实现优于传统填补方法的填补精度？
• RQ2 所提出的 $k$NN×KDE 方法在不同缺失数据机制（MCAR、MAR、MNAR）下的表现如何？
• RQ3 通过密度估计实现的概率填补是否能获得高于点估计方法（如 k-NN-Imputer 或 MissForest）的似然分数？
• RQ4 该方法在高维和异构表格数据集上，具有复杂结构时的可扩展性如何？
• RQ5 该方法是否能比现有最先进填补技术更好地保留真实数据分布？

主要发现

• 在所有数据集的 MCAR、MAR 和 MNAR 情况下，$k$NN×KDE 均实现了最低的归一化均方根误差（NRMSE），在鲍鱼数据集上平均 NRMSE 为 0.35 ± 0.076，在红酒数据集上为 0.44 ± 0.037。
• 在对数似然评估中，$k$NN×KDE 显著优于所有基线方法：在鲍鱼数据集（MCAR）上平均对数似然为 2.08 ± 0.024，在（MAR）上为 2.09 ± 0.021，而 MissForest 仅为 -2.40 ± 0.206。
• 在间歇泉数据集上，$k$NN×KDE 的对数似然分别为 0.83 ± 0.098（MCAR）和 0.82 ± 0.070（MAR），显著优于 MICE（-11.39 ± 0.122）和 MissForest（-4.49 ± 0.208）。
• 该方法在高维数据中表现出鲁棒性，在乳腺癌数据集（30 个特征）的 MCAR 情况下，对数似然为 1.53 ± 0.063，优于 MICE 的 3.42 ± 0.142。
• 在 MNAR 情况下，$k$NN×KDE 保持了强劲表现，乳腺癌数据集的平均对数似然为 1.47 ± 0.075，优于 MissForest（1.87 ± 0.356）和 MICE（3.40 ± 0.167）。
• 在复杂非线性分布（如二维环形和正弦模式）上，该方法表现优异，对数似然分数分别为 0.31 ± 0.043（MCAR）和 0.31 ± 0.056（MAR），显著优于 k-NN-Imputer 和 MICE。

Figure 2: Imputation results for the three synthetic data sets by the four selected imputation methods with optimized hyperparameters. Missing data have been injected in MCAR scenario with $20\%$ missing rate. Blue dots correspond to complete observations; orange dots have observed $x_{2}$ and imput