[论文解读] Missing Not at Random in Matrix Completion: The Effectiveness of Estimating Missingness Probabilities Under a Low Nuclear Norm Assumption

Wei Ma, George H. Chen|arXiv (Cornell University)|Oct 28, 2019

Sparse and Compressive Sensing Techniques被引用 21

一句话总结

本文提出了一种新颖的方法，通过利用缺失模式的低核范数结构，在缺失非随机（MNAR）设置下估计缺失概率。通过将核范数约束的矩阵补全（1bitMC）应用于二值缺失掩码，该方法在无需强参数假设的情况下实现了准确的倾向得分估计，与逻辑回归和朴素贝叶斯基线相比，显著提升了下游矩阵补全的准确性。

ABSTRACT

Matrix completion is often applied to data with entries missing not at random (MNAR). For example, consider a recommendation system where users tend to only reveal ratings for items they like. In this case, a matrix completion method that relies on entries being revealed at uniformly sampled row and column indices can yield overly optimistic predictions of unseen user ratings. Recently, various papers have shown that we can reduce this bias in MNAR matrix completion if we know the probabilities of different matrix entries being missing. These probabilities are typically modeled using logistic regression or naive Bayes, which make strong assumptions and lack guarantees on the accuracy of the estimated probabilities. In this paper, we suggest a simple approach to estimating these probabilities that avoids these shortcomings. Our approach follows from the observation that missingness patterns in real data often exhibit low nuclear norm structure. We can then estimate the missingness probabilities by feeding the (always fully-observed) binary matrix specifying which entries are revealed or missing to an existing nuclear-norm-constrained matrix completion algorithm by Davenport et al. [2014]. Thus, we tackle MNAR matrix completion by solving a different matrix completion problem first that recovers missingness probabilities. We establish finite-sample error bounds for how accurate these probability estimates are and how well these estimates debias standard matrix completion losses for the original matrix to be completed. Our experiments show that the proposed debiasing strategy can improve a variety of existing matrix completion algorithms, and achieves downstream matrix completion accuracy at least as good as logistic regression and naive Bayes debiasing baselines that require additional auxiliary information.

研究动机与目标

• 解决缺失非随机（MNAR）设置下由于缺失条目与未观测值系统相关而导致的矩阵补全偏差问题。
• 开发一种估计倾向得分（缺失概率）的方法，避免先前工作中使用的强参数假设。
• 为估计的缺失概率及其对下游矩阵补全性能的影响建立理论上的有限样本误差界。
• 通过实证结果证明，所提出的方法在多种算法和数据集上均能提升矩阵补全的准确性。
• 表明该方法在无需辅助信息的情况下，性能可与现有基线方法（如逻辑回归和朴素贝叶斯）相媲美或更优。

提出的方法

• 该方法将缺失模式视为一个二值矩阵 M，其中 M_{u,i} = 1 表示条目 (u,i) 被观测到，0 表示未被观测到。
• 应用 Davenport 等人（2014）提出的 1-bit 矩阵补全（1bitMC）算法对 M 进行处理，该算法通过核范数约束的矩阵补全，恢复底层缺失概率矩阵 P 的低秩估计。
• 利用恢复得到的 P，通过逆概率加权对标准矩阵补全算法进行去偏处理，从而减少 MNAR 缺失带来的偏差。
• 理论分析为 P 的估计误差以及下游矩阵补全中偏差减少的效果建立了有限样本误差界。
• 该方法依赖于真实缺失概率矩阵 P 具有低核范数的假设，该假设在 Coat 和 MovieLens-100k 等真实数据集上得到了经验验证。
• 该方法对下游矩阵补全算法无依赖性，因此可作为即插即用的去偏策略，适用于 PMF、SVD、SoftImpute 等多种算法。

实验结果

研究问题

• RQ1 我们能否在不依赖逻辑回归或朴素贝叶斯等强参数模型的情况下，准确估计 MNAR 矩阵补全中的缺失概率？
• RQ2 利用缺失模式中的低核范数结构，是否能比传统参数模型更优地估计倾向得分？
• RQ3 估计缺失概率的误差如何影响下游矩阵补全的准确性？
• RQ4 所提出的方法是否能在多种算法和真实世界数据集上提升矩阵补全性能？
• RQ5 所提出的方法是否在无需辅助信息的情况下，与现有需要辅助信息的去偏基线方法具有竞争力或更优性能？

主要发现

• 基于 1bitMC 的缺失概率估计方法在矩阵补全准确性上至少与逻辑回归和朴素贝叶斯基线相当，而后者需要额外的辅助信息。
• 在 MovieLens-100k 和 Coat 数据集上，1bitMC-PMF 和 1bitMC-SVD++ 变体分别实现了 0.718 ± 0.004 和 0.718 ± 0.004 的 MAE，优于 PMF 和 SVD++ 基线。
• 在合成数据实验中，1bitMC-PMF 在 UserItemData 上实现了 0.308 ± 0.002 的 MAE，性能与 LR-PMF 相当，且优于 PMF 和 SVD。
• 该方法为缺失概率估计和下游矩阵补全均建立了有限样本误差界，提供了理论保证。
• Coat 和 MovieLens-100k 的缺失掩码矩阵表现出低秩块结构，支持低核范数假设，验证了方法设计选择的合理性。
• 该方法可泛化至多种矩阵补全算法，包括 PMF、SVD、SoftImpute、MaxNorm 和 WTN，始终能提升或匹配基线性能。