[论文解读] Matrix Completion with Quantified Uncertainty through Low Rank Gaussian Copula

Yuxuan Zhao, Madeleine Udell|arXiv (Cornell University)|Jan 1, 2020

Statistical Methods and Inference被引用 3

一句话总结

本文提出了一种可扩展的概率框架——低秩高斯置换（Low Rank Gaussian Copula），用于矩阵补全并量化不确定性。通过在概率主成分分析（Probabilistic PCA）基础上引入列级别的边缘分布变换，该方法能够建模混合数据类型（实值、有序、布尔值），并提供校准良好的不确定性估计，在保持线性时间复杂度的同时实现了最先进水平的插补准确率。

ABSTRACT

Modern large scale datasets are often plagued with missing entries. For tabular data with missing values, a flurry of imputation algorithms solve for a complete matrix which minimizes some penalized reconstruction error. However, almost none of them can estimate the uncertainty of its imputations. This paper proposes a probabilistic and scalable framework for missing value imputation with quantified uncertainty. Our model, the Low Rank Gaussian Copula, augments a standard probabilistic model, Probabilistic Principal Component Analysis, with marginal transformations for each column that allow the model to better match the distribution of the data. It naturally handles Boolean, ordinal, and real-valued observations and quantifies the uncertainty in each imputation. The time required to fit the model scales linearly with the number of rows and the number of columns in the dataset. Empirical results show the method yields state-of-the-art imputation accuracy across a wide range of data types, including those with high rank. Our uncertainty measure predicts imputation error well: entries with lower uncertainty do have lower imputation error (on average). Moreover, for real-valued data, the resulting confidence intervals are well-calibrated.

研究动机与目标

• 解决现有矩阵补全方法在大规模表格数据（含缺失值）中缺乏不确定性量化的问题。
• 开发一种概率模型，能够准确处理混合数据类型，包括实值变量、有序变量和布尔变量。
• 确保模型在数据集规模增大时仍能高效扩展，保持行和列数量上的线性时间复杂度。
• 提供与实际插补误差相关联的不确定性估计，从而提升插补值的可靠性。
• 在多种数据类型（包括高秩矩阵）上实现最先进水平的插补准确率。

提出的方法

• 在概率主成分分析（PPCA）的基础上，为每列增加边缘分布变换，以更好地拟合各变量的经验分布。
• 采用高斯置换框架来建模变量之间的依赖关系，同时保持各列的边缘分布不变。
• 对每列应用位置-尺度变换，将观测值映射到标准正态空间，从而实现对非高斯数据的灵活建模。
• 使用期望最大化算法优化模型参数，其时间复杂度在行数和列数上均呈线性增长。
• 通过从后验预测分布中抽样生成插补值，自然地融入了不确定性信息。
• 为实值插补值构建置信区间，并利用经验覆盖率评估其校准性。

实验结果

研究问题

• RQ1 具有灵活边缘分布的低秩概率模型是否能提升在多样化数据类型上的插补准确率？
• RQ2 所提出的方法是否能提供与实际插补误差相关联的不确定性估计？
• RQ3 针对实值插补值生成的置信区间在多大程度上反映了真实的误差率？
• RQ4 在行数和列数增加的情况下，该模型在扩展性方面表现如何？
• RQ5 与现有最先进插补技术相比，该方法在高秩数据上的表现如何？

主要发现

• 低秩高斯置换在多种数据类型（包括高秩矩阵）上均实现了最先进水平的插补准确率。
• 不确定性估计较低的插补值，其实际插补误差平均显著更低，验证了不确定性估计的可靠性。
• 对于实值数据，模型生成的置信区间具有良好的校准性，经验覆盖率接近名义水平。
• 模型拟合时间随行数和列数的增加呈线性增长，可高效应用于大规模数据集。
• 该方法通过在统一概率框架内对每列进行特定边缘变换，有效建模了混合数据类型（实值、有序、布尔值）。
• 不确定性量化机制提升了下游任务的可靠性，因为不确定性更高的条目更可能产生较大的插补误差。